华盛顿大学等发布 Grasping the Future:从网络视频预测手物3D运动
mangahomanga · x · 2026-11-17
华盛顿大学、UNC 与约翰霍普金斯团队发布 Grasping the Future 项目:一个从互联网视频中学习、联合预测人手与物体 3D 运动的生成模型。
- 给定 0.5 秒人手操作物体的画面,可预测接下来 4.5 秒的手腕轨迹、手指弯曲与物体的移动旋转
- 单一模型统一 7 种任务:预测未来、由手推物、由物推手、目标导向生成、补全缺失运动段等
- 训练数据来自将 Action100M 网络视频重建为 62,562 条 3D 手物轨迹(仅保留 12% 通过质检),另加 8 个动捕数据集
- 生成式模型可从同一 past 采样多种可能的未来
- 用 SPiDER 将预测重定向到仿真机械手,73.8% 的预测可被机器人执行(运动学重定向基线仅 14.6%)
论文、代码与模型已放出,数据即将开源。
「具身」频道最新
- NVIDIA 开源 LidarVerse:单一世界模型实时模拟任意视角 LiDAR 扫描 — NVIDIAAI · 2026-11-17
- Jetson GPIO 直驱 L298N 电机,机器人开发省掉 Arduino 中间层 — chrismatthieu · 2026-11-17
- 宇树机器人数据集上线 Hugging Face — mishig25 · 2026-11-17
- Enactra 发布具身智能仿真平台:每帧自带标注、机器人可直接操控 — Lianhuiq · 2026-11-17
- LG 定档 2027 年 Q1 发布基于 NVIDIA 参考设计的双足机器人 — xmercury_one · 2026-11-17
- 机器人研究员吐槽:边界用例就是当下机器人部署的全部难题 — chris_j_paxton · 2026-11-17