DyRAD: Radar Novel View Synthesis for Dynamic Driving Scenes
Merav Keidar, Tomer Borreda, Rajalakshmi Nandakumar, Or Litany
cs.CV
2026-09-30
DyRAD 用点反射体加固定传感器模型重建动态驾驶场景、完整渲染含 Doppler 的雷达张量,目标命中率 90.7% 对基线 26.9%,换雷达配置免重训。
自动驾驶的闭环评测要把录制的驾驶场景重建出来,从没开过的视角合成传感器观测。相机和 LiDAR 走 NeRF、3D Gaussian Splatting 路线,动态驾驶场景的新视角合成已经能用;雷达是车里最难替代的传感器(Doppler 直接测径向速度、恶劣天气下稳定),却卡在三个缺口上。
一是现有雷达新视角合成要么处理动态场景但只重建 range-azimuth 二维图、丢掉 Doppler,要么渲染 Doppler 但假设场景全静态,速度信号只来自自车运动。二是雷达测量不是场景的直接照片:FFT 和 beamforming 会把一个点目标的回波摊进多个 bin,现有表示把这种扩散学进场景几何,视角一挪,烤在场景里的「传感器模糊」就露馅。三是现有评测只看原轨迹上隔帧留出的测试帧,这些帧夹在几乎相同的训练位姿中间,量的是插值能力,而闭环仿真恰恰要离开原轨迹。
论文还点破一个测量学坑:RADIal 数据约 97% 的 bin 落在噪声底,一个全场填常数的对照项 SSIM 比所有重建方法都高、PSNR 压过两个基线。PSNR 和 SSIM 在稀疏雷达上说明不了结构对错,全文因此以 Pearson 相关系数和检测指标为主。
DyRAD 是「点反射体场景 + 冻结传感器模型」的组合,Technion、NVIDIA 和 Cornell Tech 合作完成。
为什么反射体必须零延展、PSF 必须冻结:一旦允许反射体有可学的宽度、或让 PSF 带宽可学,优化器就会用学出来的模糊去补偿摆错位置的反射体,场景结构和传感器效应重新纠缠。冻结 PSF 还白送一个能力:同一场景换雷达信号处理配置,只换 PSF 和采样网格就能直接渲染,不用重训。
| 设置 | 指标 | DyRAD | 最强基线 |
| RADIal on-path | 前景命中率 | 90.7% | 26.9%(RadarFields) |
| RADIal on-path | 全 RAD 相关系数 ρ | 0.272 | 0.068(RadarSplat) |
| RADIal on-path | 物体区 ρ | 0.658 | -0.011 |
| RADIal 2 米侧移往返 | 前景命中率 | 91.7% | 18.1% |
| Boreas on-path | 物体区 RA ρ | 0.622 | 0.178(RadarSplat) |
| 合成 off-path | 物体区 RAD ρ | 0.356 | 0.086(RadarFields) |
前景命中率指有参考检测的标注框中还含预测检测的比例。Boreas 用 360 度旋转雷达、没有 Doppler,是基线的原生设置,DyRAD 靠物体建模照样在物体区拉开差距,收益不全是 Doppler 监督给的;连全静态的消融变体,在基线原生的 RA 输出上相关系数也有 0.533,对 RadarSplat 的 0.291。
消融:Doppler 监督把车辆 Doppler 峰值位置误差从 1.843 压到 0.732 个 bin;固定 PSF 相比「学反射体宽度」和「学 PSF 带宽」,off-path 检测 F1 是 0.236 对 0.074 和 0.124,recall 翻倍以上。配置迁移:用四分之一距离分辨率、二分之一 Doppler 分辨率的粗配置训练,直接换细配置 PSF 渲染,检测 Chamfer 距离从 7.27 米降到 3.20 米、F1 从 0.101 到 0.195,好过对粗渲染做线性上采样。开销不大:RTX 4090 上 10k 步训练 7.2 分钟,单帧全 RAD 张量渲染 5.65 毫秒,峰值显存约 1 GB。
两处不完美:合成 off-path 上 DyRAD 平均每场景 4.9 个虚警框,静态变体只有 0.7,覆盖率是拿虚警换的;配置迁移里多数相关性和 SSIM 指标反而是线性上采样更高,直接渲染赢的是检测和物体区 PSNR。
对做自动驾驶仿真的人,雷达第一次同时凑齐动态场景、位移视角、Doppler 渲染三件事,闭环仿真里的雷达一路不再只能放静态回放。把传感器响应从场景解耦的思路也不止于雷达:凡是「测量等于场景卷上传感器响应」的重建问题都可能照搬,免重训的配置迁移是最直接的收益。他们顺带立的 off-path 评测协议(真实数据往返一致性 + 带位移真值的合成 benchmark,代码与数据放出)抬高了门槛,此前在原轨迹上刷插值分数的做法以后不好混了。
预期也要摆正:这是把点表示、刚体轨迹、球谐、PSF 卷积这些已知部件组合到「雷达 + 动态场景」的第一份完整工作,单点创新有限,价值在组合与验证。
作者自述四条:反射体到物体的归属依赖标注且优化中固定,初始化错了没法纠;没建 multipath 和 speckle,回波真实性打折;只在地面平面实现,测量无高程,3D 公式没验证;配置迁移只覆盖同一物理雷达的不同处理配置,跨物理传感器没试。
读下来还有几处要盯:动态物体依赖 bounding box 初始化,无标注的小目标、行人怎么处理没有讨论;真正的同类动态基线 RF4D 因代码「仍在检查中」被排除,表里的基线全是静态方法硬抬 Doppler,90.7% 对 26.9% 的对比要打折扣;真实数据 off-path 没有真值,往返一致性只是代理,分数与 on-path 不可比;实验都是 50 至 60 帧的短序列,长序列和大规模场景没验证。