NVIDIA 发布 BirdDreams：联合生成透视图与 BEV 的自动驾驶世界模型
nvidia · hf · 2026-11-13
NVIDIA 与 KAIST 发布 BirdDreams，一个自回归驾驶世界模型，同时生成第一视角视频和示意性鸟瞰图（BEV）视频，把场景布局纳入对未来的预测。
核心思路
- 仅从透视图学习车辆运动困难：运动与外观纠缠、车辆易被遮挡；已有方法需输入他车未来轨迹作为条件。
- BEV 以固定度量尺度把道路和车辆画成简单形状，遮挡少、位置运动清晰；透视图保留红绿灯等细节。两条视频扩散 transformer 通过 joint attention 相互提供信息。
- 预测的 BEV 为自车控制提供几何接口：沿输入轨迹平移旋转最新帧，作为软条件展示仅自车移动时场景如何变化。
结果：推理时仅需单张相机图像，无需 HD 地图或车辆状态输入；在 PhysicalAI-AV 与 nuScenes 上轨迹跟随更忠实、自车运动更合理，人评中周围车辆行为真实感优于纯透视图基线。
「具身」频道最新
- DeepMind 发布 Gemini Robotics 2.5:人形机器人自主系蝴蝶结、打包成功率96% — AI_Andrew · 2026-11-13
- CoreWeave Q3 营收 36.6 亿美元涨 168%,签约 Wayve 训练 AI Driver — thursdai_pod · 2026-11-13
- Galaxea 联创清华赵行 CoRL 演讲：机器人智能按时间尺度分 System 2/1/0 — YuXiang_IRVL · 2026-11-13
- 疑 OpenAI 硬件设备开箱照流出：机械臂配透明掌机 — yungcontent · 2026-11-13
- FINGR 灵巧手用连续手指技巧拧开二阶魔方,获 CoRL 工作坊最佳论文 — Scobleizer · 2026-11-13
- 李飞飞转发 Atlas 新演示:很难形容它有多酷 — drfeifei · 2026-11-13