JHU 新研究:单目视频重建铰接物体并可迁移到机械手

mangahomanga · x · 2026-09-17

约翰霍普金斯大学 Jiaming Zhang 与 Homanga Bharadhwaj 发布 Track, Articulate, Act 研究:仅用一段随手拍摄的单目 RGB 视频,无需 RGB-D、多视角、先验扫描或机器人演示,即可重建可仿真的铰接物体(门、抽屉、烤箱等)及手-物体交互。核心洞察是稠密 3D 点轨迹作为与具身无关的铰接线索:固定部件上的点近似静止,运动部件上的点呈连贯旋转/平移运动。方法复用预训练模型做单图 3D 重建、网格分割与 3D 场景流,并通过几何推理衔接;还演示了将恢复的人手交互重定向到 MuJoCo 中的 Allegro 机器人手。