从互联网视频学机器人操作:开源 3D 世界模型预测手物运动
RoozbehMottaghi · x · 2026-11-17
UW、UNC、JHU 团队开源「Grasping the Future」:一个 3D 物体中心世界模型,只需半秒的人手操作视频,即可预测未来约 4.5 秒的手腕轨迹、手指弯曲与物体运动,用于教机器人学习操作技能。
- 数据:从互联网视频重建出 62,562 段 3D 手-物交互(仅保留 12% 通过质检的片段),另加 8 个动捕数据集。
- 一模型七任务:手物联合预测、给手补物、给物补手、到达目标、填补缺失片段等,统一为「补全手-物运动」问题,一次训练覆盖全部。
- 效果:仿真机器手能沿预测路径执行 73.8% 的预测结果。
- 论文、代码、模型已开源,数据即将发布。
所属事件:Grasping the Future:从网络视频联合预测手物 3D 运动(3 条相关)→
「具身」频道最新
- 超20万款App已适配iPhone Duo,一周数量翻倍 — asymco · 2026-11-17
- 统一手部交互模型支持7任务,从无标注视频构建10万片段数据集 — RoozbehMottaghi · 2026-11-17
- Coco Robotics 用 NVIDIA Cosmos 把真实配送视频变成边缘场景训练集 — NVIDIA Developer · 2026-11-17
- NVIDIA 开源 LidarVerse:单一世界模型实时模拟任意视角 LiDAR 扫描 — NVIDIAAI · 2026-11-17
- Jetson GPIO 直驱 L298N 电机,机器人开发省掉 Arduino 中间层 — chrismatthieu · 2026-11-17
- 华盛顿大学等发布 Grasping the Future:从网络视频预测手物3D运动 — mangahomanga · 2026-11-17