JHU 新研究:单目人类视频重建铰接物体并让机器人复现操作

mangahomanga · x · 2026-09-17

Johns Hopkins大学Brains, Bots, and Behavior实验室发布Track, Articulate, Act框架:仅凭一段随手拍摄的单目RGB视频,即可重建可仿真的铰接物体(门、抽屉、柜子、笔记本、烤箱等)及其手-物交互,无需RGB-D、多视角、预先扫描、人工标注关节或机器人演示。

核心洞察是稠密3D点轨迹提供了与具体本体无关的关节线索——固定部件上的点近似静止,运动部件上的点呈连贯的旋转或平移运动。方法将SAM 3D(几何重建)、网格分割、3D场景流等预训练模型串联,通过显式几何推理分割连杆、估计关节类型与状态轨迹,重建铰接资产,并将人手3D运动重定向到物体上,最终在MuJoCo物理仿真中回放交互。