Video-Point Model 用 3D 点轨迹预测学习 4D 世界模型
Byungwoo Jeon · hf · 2026-10-21
Hugging Face 发布 Video-Point Model（VPM）：从多视角视频历史、相机参数与语言指令出发，预测未来多视角视频和持久的 3D 点轨迹，通过共享的 3D 感知表征同时提升视频预测与机器人控制。
- 模型：以 3D 点轨迹预测为核心监督信号，让视频生成具备 3D 一致性，并输出持久点轨迹辅助机器人动作规划。
- 数据与评测：配套发布 VP-WorldBench 与 VPM-Data，覆盖真实与仿真场景，包括桌面机械臂操作和城市动态（行人/车辆）。
- 结果：FVD 指标上优于 Wan2.2-5B、Cosmos3-Nano、HunyuanVideo-1.5、X-WAM 等基线；消融显示加入轨迹监督（V+T）显著降低 FVD，机器人场景 78.52→67.35，通用场景 101.37→81.92。
「具身」频道最新
- Menlo 开源 Asimov 人形机器人 RL 训练框架 Cyclotron — freelerobot · 2026-10-21
- Cactus 在 10 美元 ESP32 上本地跑语音转动作，二进制最小仅 17MB — alexcovo_eth · 2026-10-21
- 两个月冒出 3 家机器人创业公司，全在套壳宇树 Unitree G1 — saranormous · 2026-10-21
- UC Berkeley 新论文:首个从离线数据估计 empowerment 的可行方法 — svlevine · 2026-10-21
- 马斯克称 Neuralink 6-12 个月内植入首批视觉设备，先天失明者也将复明 — mitchdeg · 2026-10-21
- 人形机器人造出大部分商品后,经济收益凭什么归拥有机器的公司? — VraserX · 2026-10-21