KAIST 等 6 校联合推出 VPM:让视频世界模型先学 3D 点轨迹再生成,机器人和保真度双提升
sainingxie · x · 2026-10-21
KAIST、ETH Zürich、首尔大学、NYU、RLWRLD 等机构(Saining Xie、Marc Pollefeys 等参与指导)发布 VPM(Video-Point Model),一个 4D 世界模型:给定多视角历史和语言指令,同时预测任意视角的未来视频和持久 3D 点轨迹。
核心动机:多视角世界模型常见问题是每个相机渲染得都好看,但彼此对同一场景的 3D 运动描述不一致——视觉逼真不等于 3D 一致。VPM 的思路是用持久点轨迹作为跨相机、跨时间的共享 3D 运动监督,把所有视角的外观变化绑到同一运动描述上。
实验结果:显式学习未来点运动确实有效——视频更忠实、3D 一致性更好,且同样的点轨迹监督还能提升机器人动作学习;预测出的点轨迹还能做零样本控制。配套发布模拟+真实多视角数据集 VPM-Data 与基准 VP-WorldBench。
所属事件:KAIST 等六机构推出 VPM 视频世界模型(2 条相关)→
「具身」频道最新
- 评测翻车后 The Verge 编辑庆幸没预购 2000 美元 iPhone Duo — tomwarren · 2026-10-21
- PhysCanvas 世界模型预测视觉与触觉，任务状态监督将相关性提至 0.89 — stepjamUK · 2026-10-21
- CoreWeave 推 Physical AI Launchables：一条命令跑机器人仿真环境 — ayushthakur0 · 2026-10-21
- 图灵奖得主 Patterson:机器人的 ChatGPT 时刻将来自 ChatGPT 本身 — davidpattersonx · 2026-10-21
- SCAMPER:为神经科学研究打造动作逼真的强化学习虚拟大鼠 — tyrell_turing · 2026-10-21
- iPhone Duo 一周实测：双屏深度适配的应用才是成败关键 — BenBajarin · 2026-10-21