JHU发布Track, Articulate, Act:单目视频重建铰接物体并迁移机器人
约翰霍普金斯大学Brains, Bots, and Behavior实验室的Jiaming Zhang与Homanga Bharadhwaj发布新框架Track, Articulate, Act:仅用一段随手拍摄的单目RGB视频,即可重建可仿真的铰接物体并让机器人复现人的操作,相关成果由@mangahomanga于9月17日连续介绍。
已确认
- 技术栈上,先用SAM 3D重建物体几何,SegviGen按部件切分网格,再用3D点轨迹恢复部件运动方式,进而拟合关节,并把人手运动与物体对齐,最终在MuJoCo中回放交互
- 展示的示例覆盖日常家庭与办公场景:笔记本屏幕旋转、抽屉滑动、椅子转动等,关节类型与轨迹均由估计的3D点运动恢复;适用物体还包括门、柜子、烤箱等
- 框架无需RGB-D、多视角、先验扫描或机器人演示,重建的交互可迁移到Allegro机器人手在MuJoCo中复现
- 作者指出关键难点在于把恢复的手部运动与重建物体对齐——尺度或姿态的微小误差都会影响迁移效果
为什么重要
- 大幅降低了铰接物体数字化的数据门槛:普通单目视频即可获得可仿真模型,为家庭与办公场景的机器人操作学习提供可规模化的物体与交互来源
2026-09-17 ~ 2026-09-17 · 5 条相关
一手来源
- JHU 新研究:单目人类视频重建铰接物体并让机器人复现操作 — mangahomanga ·
- 拆解技术栈:SAM 3D 重建几何,3D 点轨迹恢复铰链运动 — mangahomanga ·
- JHU 新研究:单目视频重建铰接物体并可迁移到机械手 — mangahomanga ·
- 【源头】JHU 新研究:单目人类视频重建铰接物体并让机器人复现操作 — mangahomanga · 2026-09-17
- 【源头】拆解技术栈:SAM 3D 重建几何,3D 点轨迹恢复铰链运动 — mangahomanga · 2026-09-17
- 笔记本翻盖、抽屉滑动:3D 点轨迹恢复日常物体关节 — mangahomanga · 2026-09-17
- 从 3D 点运动恢复人手交互,并迁移到 Allegro 机器人在 MuJoCo 复现 — mangahomanga · 2026-09-17
另有 1 条近重复转述:mangahomanga