NVIDIA 发 Foundation4D:统一模型搞定自动驾驶感知与重建
nvidia · hf · 2026-10-23
NVIDIA 发布 Foundation4D,一个面向自动驾驶的前馈统一模型,从多相机驾驶视频同时完成几何估计、3D 检测、语义占用预测与高斯重建。
- 架构:共享骨干采用分解式时空注意力,高效融合跨相机、跨时刻的观测;视频推理管线用位姿图优化相机轨迹并跨窗口组装物体轨迹。
- 数据:配套标注管线并开源 PAI-Foundation4D 基准,含 1,253 段驾驶视频的稠密深度与语义占用标注。
- 成绩:在 Waymo 与 nuScenes 上深度 AbsRel 最低,nuScenes 检测 mAP 与 OpenOccupancy 占用 mIoU 最高。任务组合研究显示联合训练有收益:检测+几何+占用联合训练比纯检测训练 top 类 mAP 提升 1.2 点,几何+检测联合训练把相机到车体平移误差相对降低 13.4%。
「研究」频道最新
- TokenGate 端到端学习动态丢 token,解锁 LLM 预填充新优化方向 — CShorten30 · 2026-10-23
- ProtTale 学会自评可靠性:判断 AI 生成的蛋白功能描述何时可信 — anshulkundaje · 2026-10-23
- 图宾根研究：视觉模型自顶向下反馈须配 dropout 才真正抗噪 — maier_ak · 2026-10-23
- 研究：LLM 群聊插话 46.4% 时机不当，尚不会察言观色 — windx0303 · 2026-10-23
- 谷歌云发布 PLE 基准:物理工程考题全部前沿模型得分不足 50% — Afinetheorem · 2026-10-23
- 港科大溯源发现:「Wait」标记继承自训练数据而非 RL 发明 — huawei-noah · 2026-10-23