DyRAD：面向动态驾驶场景的雷达新视角合成

  • 关联论文：2609.39841
  • 作者：Tom
  • 更新：2026-10-02

一句话结论

DyRAD 通过将动态驾驶场景解耦为静态背景反射器与运动追踪动态点反射器，并借助解析式 PSF（点扩散函数）渲染完整的 range-azimuth-Doppler（RAD） tensor，实现了雷达Novel View Synthesis（NVS）在动态场景下的突破，RADIal 数据集上目标检测召回率从 26.9% 提升至 90.7%，同时首次支持零样本雷达配置迁移。

解决什么真问题

自动驾驶闭环评测需要合成超出原始轨迹的传感器观测——比如把车从左边开到右边，模拟从未真正采集过的视角。相机和 LiDAR 的 NVS 方案已有不少，但 radar NVS 一直有两道硬墙：

第一道墙：动态与多普勒不可兼得。 现有处理动态场景的方法只重建 range-azimuth tensor，根本不碰 Doppler；而能渲染 Doppler 的方法又假设场景是静态的。真实驾驶场景里，行人、车辆都在动，这两类方法用哪一个都不够。

第二道墙：雷达反射扩散污染几何表征。 雷达信号处理会把单个反射扩散到多个 range/azimuth/Doppler bin 中。现有方法把这种扩散直接吸进场景几何表征里——换一个新视角渲染时，扩散模式就错了，合成结果严重伪影。

DyRAD 解决的正是这两个问题：既能处理动态场景，又能渲染 Doppler，且合成结果在新视角下保持物理一致性。

核心方法

场景建模哲学

DyRAD 的核心洞察是：把雷达感知物理和场景几何解耦。

整个场景被建模为两类反射器的叠加：

  1. 静态背景反射器（Static Background Reflectors）：路牌、护栏、建筑物等固定物体，用隐式场或网格建模位置。
  2. 动态点反射器（Dynamic Point Reflectors）：行人、车辆等运动物体，位置和速度均由目标跟踪器（3D 检测 + 跟踪）提供。

Doppler 的建模与监督

每个动态反射器的径向速度通过下式投影到雷达视线方向：

v_rad = v_obj · (p_radar - p_obj) / ||p_radar - p_obj||

其中 v_obj 为目标跟踪输出的三维速度向量，p_radar 为雷达位姿，p_obj 为目标位置。这个投影后的径向速度直接决定了该反射器在 Doppler 维度上的位置。

关键设计：Doppler 同时是渲染输出，也是对跟踪器的监督。如果跟踪器给出的速度和真实 Doppler 测量不符，渲染结果就会出错——这形成了一个自洽的验证环。

解析式 PSF：核心技术创新

这是 DyRAD 最关键的设计决策。传统方法把传感器引入的扩散（spread）编码进场景几何，导致视角变化时扩散模式错误。DyRAD 的做法是：

场景表征只负责"物体在哪"，传感器扩散交给一个固定的解析 PSF。

雷达信号处理链（脉冲压缩、MTI filter 等）对应的 PSF 是可解析计算的（固定参数，不依赖场景）。渲染时，每个 reflector 先投影到当前视角的 range-azimuth-Doppler 坐标，再用这个固定 PSF 采样生成最终 tensor：

# 伪代码示意
for reflector in static_reflectors + dynamic_reflectors:
    # 投影到当前视角
    rad_coord = project(reflector.position, radar_pose)
    doppler_coord = project_doppler(reflector.velocity, radar_pose)

    # 通过解析 PSF 渲染
    rendered_tensor += psf.evaluate(rad_coord) * reflector.amplitude

# 动态反射器 Doppler 由跟踪器速度投影决定
for dyn_pt in dynamic_points:
    v_rad = dot(dyn_pt.velocity, line_of_sight(radar_pose, dyn_pt.position))
    # Doppler bin = f_doppler(v_rad)

这个设计带来一个意外收获：零样本雷达配置迁移。因为 PSF 描述的是传感器本身，改变雷达的天线数、波长、PRF 等参数只需换一套 PSF，不需要重新拟合场景——同一个重建场景可以在不同雷达规格下渲染。

渲染流程

输入：原始 radar 测量 + 车辆位姿 + 3D 检测框（含跟踪 ID）

  1. 静态背景重建：用隐式表征拟合静态反射，PSF 扩散不进入表征
  2. 动态轨迹提取：从跟踪器获取每帧每个动态目标的位置与速度
  3. Doppler 投影：速度向量投影至雷达视线，映射至 Doppler bin
  4. RAD tensor 渲染：静态背景 + 动态点，通过解析 PSF 合成完整 RAD tensor

关键实验与数据

数据集：RADIal（真实法国城市）、Boreas（真实加拿大城市）、一个合成数据集

评测指标：参考检测召回率——在合成视角的 RAD tensor 上运行检测器，与参考视角已检测目标的重合比例

实验设置 DyRAD 最强 baseline
RADIal on-path 90.7% 26.9%
RADIal 跨视角（displaced viewpoints） 显著优于 baseline 原文未明确给出数字

核心消融结论（从原文推断）： - 加入 Doppler 分支后，动态目标召回率大幅提升 - 解析 PSF 相比可学习 PSF 在跨视角泛化上优势明显 - 零样本传感器配置迁移（不同 radar 规格）在合成数据上验证有效

⚠️ 原文具体消融表格数字未在此引用，详见 arxiv 论文。

亮点与局限

亮点

  1. 物理驱动的方法论：不是端到端黑箱，而是从雷达信号处理物理出发设计表征，解释性强。
  2. Doppler 作为监督：巧妙地把 Doppler 测量变成对跟踪器的验证信号，形成闭环。
  3. 解析 PSF 分离传感与场景：这是过去方法的核心失误——把传感器引入的扩散编码进了场景几何，DyRAD 第一次在 radar NVS 里彻底解决这个问题。
  4. 零样本配置迁移：这个能力对于仿真平台意义重大——同一个场景可以适配多种雷达型号，无需每种都重新采集数据。

局限

  1. 依赖外部跟踪器：动态目标的位置和速度由现成的 3D 检测 + 跟踪 pipeline 提供，跟踪质量直接影响渲染效果。如果跟踪器漏检或 ID 切换，Doppler 就会出错。
  2. 静态背景仍用隐式表征拟合：在大场景、长时间采集上表征的泛化能力有待验证。
  3. Doppler 仅限径向分量：雷达只能测视线方向速度，切向速度对 Doppler 无贡献，这部分信息 DyRAD 无法渲染——但这是雷达物理极限，不是方法缺陷。
  4. 原文未开源代码（截至 2026-10-02），仅提供 project page 和 GitHub 链接，代码仓库状态待验证。

对工程落地的启发

  1. 仿真数据闭环：当前自动驾驶仿真普遍依赖相机和 LiDAR 仿真，雷达仿真因物理复杂度高而被简化。DyRAD 提供了一条用真实采集数据快速重建、可配置渲染的路径，有望提升雷达仿真保真度。

  2. 数据增广：Radar NVS 可以合成任意视角的 RAD tensor，直接扩充训练数据——特别是罕见场景（紧急制动、行人鬼探头）的雷达数据。

  3. 感知算法评测：可以针对同一场景渲染不同雷达配置的输出，评测检测器对雷达规格的敏感性。

  4. 配置迁移降低采集成本：一辆车配一种雷达采集数据，通过配置迁移渲染出其他雷达型号的感知结果，减少实车测试成本。

与同方向工作的关系

工作 动态场景 渲染 Doppler 处理 PSF 扩散 零样本迁移
传统 radar NVS（静态假设） ✗ ✓ ✗ ✗
动态 radar 重建（无 Doppler） ✓ ✗ ✗ ✗
DyRAD（本文） ✓ ✓ ✓ ✓
  • 相比 Nerfaction 等通用传感器 NVS 工作，DyRAD 专门针对 radar 物理特性（Doppler、PSF）设计，不是简单复用相机/LiDAR 范式。
  • 相比 RadarScenes 等数据集导向工作，DyRAD 解决了如何将测量转为可渲染表征的核心问题。
  • Orignal（自监督 radar 深度估计）等工作关注的是深度估计，DyRAD 关注的是新视角合成，两者在数据表征上可互补。

适合谁读

  • 自动驾驶感知算法工程师：尤其是做 radar 感知、传感器融合、仿真数据生成的同行。DyRAD 提供了一种高保真雷达数据增强路径。
  • 3D 重建 / NVS 研究者：雷达 NVS 是相对小众但快速增长的领域，DyRAD 指明了一个从物理特性出发的表征设计方向。
  • 自动驾驶仿真平台开发团队：如果你的仿真管线缺 radar 仿真或现有 radar 仿保真度差，DyRAD 的技术路线值得参考。
  • 硕博士新生：想找 radar 感知 + NVS + 动态场景交叉的题目？本文的 limitation 部分就是很好的出发点。