Reconstructing the Dynamic World: A Representation-Centric View of 4D Scene Reconstruction
Ziren Gong, Guo Chen, Yongjia Li, Yihua Shao, Fabio Tosi, Stefano Mattoccia, Matteo Poggi, Hao Tang, Fei Ma, Shuyan Li, Ziyang Yan, Nicu Sebe, Ling Shao, Jianfei Cai, Qi Tian, Ming-Hsuan Yang
cs.CV
2026-09-30
16 人团队把 102 个 4D 重建方法按场景表示分为 NeRF 系四类、GS 系三类,汇总 22 个数据集;GS 系渲染最高 277 FPS,NeRF 系多数不足 15。
4D 场景重建要同时恢复动态场景的几何、外观和运动。自 2021 年 D-NeRF 起,这个方向沿 NeRF 和 3DGS 两条路线各自生长,方法越积越多,相互关系却没人理清:同样叫「变形场」,在 NeRF 系里指把坐标映射回规范空间的网络,在 GS 系里指预测高斯属性偏移的网络;评测又各用各的数据集切片,横评基本做不了。已有综述多把动态当静态神经渲染的附属章节,个别方法数更多的又没有评测栏和统一分类;最接近的一篇(Zhu et al.)只覆盖 52 个方法、10 个数据集,且不含自动驾驶场景。
这篇由博洛尼亚大学、北大、港理工、特伦托大学、Google DeepMind 等 16 位作者合写,以场景表示为主轴,把 102 个方法、22 个数据集收进同一个框架,并补上交叉核验过的定量横评。
分类只回答一个问题:时间被存在表示的哪里。
NeRF 系分四类。
GS 系分三类。
| 基准(指标) | 最好方法 | 成绩 | 参照 |
| Neu3D(PSNR,NeRF 系) | MSTH | 32.4 | DyNeRF 29.6 |
| Neu3D(PSNR,GS 系) | FreeTimeGS | 33.19 | 4DGS 32.01 |
| D-NeRF 数据集(PSNR) | SLS4D | 34.84 | D-NeRF 30.50 |
| NeRF-DS(PSNR) | EfficientGS | 24.65 | Deformable-3DGS 24.10 |
| nuScenes 几何(RMSE) | OmniRE | 1.89 | Deformable-3DGS 2.97、D-NeRF 7.11 |
NeRF 系内部,4D 特征体结构全面领先:D-NeRF 基准上 SLS4D 拿到 34.84 PSNR,比原始 D-NeRF 的 30.50 高 4 dB 以上,结构化网格在小规模室内动态场景上压过纯坐标 MLP。外部先验是稳定的涨点来源:光流约束(ST-4DGS、CD-3DGS)、语义分割(Gear-NeRF),以及最管用的 LiDAR。nuScenes 上带 LiDAR 监督的方法几何误差显著更低,OmniRE 的 RMSE 1.89 对纯视觉 Deformable-3DGS 的 2.97,驾驶规模下主动深度传感接近必需品。
速度分野更清楚:GS 系靠光栅化普遍破百 FPS,4DRotorGS 到 277;NeRF 系多数在 15 以下,不少不到 1。代价是模型容量,GS 系参数量普遍更大,4DGC、Ex4DGS 这类压缩工作就是专门补这个坑的。
这是选型地图,不是新方法。要实时渲染,选显式 4D 原语或逐帧路线;要非刚体精细建模和场景编辑,变形场最顺手;内存紧就上特征平面;做自动驾驶,别指望纯 RGB。22 个数据集按合成/真实、单目/多目、短时/长时、人中心/通用、RGB-only/多模态五个维度归档,找基准直接查表。对刚进方向的人,先掌握「哪类设计天然适合哪类场景」的对应关系,比读三十篇原文省力。配套 GitHub 论文列表持续更新,跟进成本也低。
作者自述的:定量数字取自各原论文,做了交叉核验但没有统一重跑;不放代码或配置的工作被降权,收录偏向协议一致的方法。指标一节承认,时间一致性、拓扑变化、长期一致性都没有标准化评测协议,而 PSNR/SSIM/LPIPS 全是逐帧指标,恰好测不了 4D 重建最核心的时间维。范围只覆盖 per-scene optimization,feed-forward 泛化路线被明确排除,只在展望里出现。
读下来的额外存疑:表格缺项不少,Neu3D 的 NeRF 系 SSIM/LPIPS 大半空白,跨表比较要小心;训练时间一栏里 DyNeRF 与相邻方法差出三个数量级,单位可疑,引用前应核对原文。