统一手部交互模型支持7任务,从无标注视频构建10万片段数据集
RoozbehMottaghi · x · 2026-11-17
研究者发布统一的手-物体交互模型,主要贡献有两点:
- 统一模型:支持 7 项任务,包括预测未来手部姿态、手部关节运动与物体位姿;从手部运动预测物体运动及反向推理;以及按指定目标生成手部与物体的运动轨迹。
- 可扩展数据管线:从无标注的互联网视频中自动提取 3D 物体位姿、手部姿态和手部关节运动,经大量筛选后构建出 10 万条视频片段的数据集。
论文与代码均已开源。
「具身」频道最新
- 超20万款App已适配iPhone Duo,一周数量翻倍 — asymco · 2026-11-17
- Coco Robotics 用 NVIDIA Cosmos 把真实配送视频变成边缘场景训练集 — NVIDIA Developer · 2026-11-17
- NVIDIA 开源 LidarVerse:单一世界模型实时模拟任意视角 LiDAR 扫描 — NVIDIAAI · 2026-11-17
- Jetson GPIO 直驱 L298N 电机,机器人开发省掉 Arduino 中间层 — chrismatthieu · 2026-11-17
- 华盛顿大学等发布 Grasping the Future:从网络视频预测手物3D运动 — mangahomanga · 2026-11-17
- 宇树机器人数据集上线 Hugging Face — mishig25 · 2026-11-17