Morphometric Imitation: From Morphology and Contact Aware Hand Retargeting to Sim-to-Real Visuomotor Policy
Tara Sadjadpour, Siming He, C. K. Wolfe, Haozhi Qi, Lea Wilken, S. Shankar Sastry, Claire Tomlin, Jitendra Malik
cs.RO
2026-09-24
按形态和接触把人手演示重定向到三至五指机械手，残差强化学习补上动力学之后，真机三百次试验的零样本成功率达到89.3%。
人手-物体交互（HOI）演示很多，但迁到机械手会卡在三件事：形态差（三指、四指、五指，比例也不一样）、动作在物理上不一定可执行、仿真策略还要过 sim-to-real。已有管线常把运动学重定向、动力学修正、视觉策略蒸馏拆开做；不少动力学方法还要求人在机器人工作空间里慢抓，或事后用真机遥操作微调。自然发生的桌面动作，尤其是贴桌碰撞，这些约束帮不上。
Berkeley 这条 Morphometric Imitation 把三步串成一条：形态与接触对齐的运动学重定向，残差 RL 补动力学，再蒸馏成零样本视觉运动策略。
第一阶段是 Morphometric Optimization（MMO）。先把 MANO 手模按手掌和各指比例拉成目标机械手的 Scaled MANO，再优化关节与指尖对齐。形态一变，原来的接触会漂，于是逐帧把形态对齐后的手再优化回去，对准参考接触顶点（5 mm 阈值，来自 GRAB 建议），并加桌面穿透惩罚。少指机械手还有耦合指间距项。最后用线性混合蒙皮那套权重，把对齐后的 MANO 骨架「蒙」到机器人骨架上，再联合求手臂+手的 IK。MMO 在 RTX 4090 上单手约 180 fps。
第二阶段在 ManiSkill 里做残差 RL：策略输出 Δq，指令关节 = 运动学参考 + Δq。观测、奖励、终止同时看物体位姿和接触。奖励是物体 ADD 跟踪与接触指数的乘积。桌面碰撞或接触力过大立刻终止。域随机包括物体各向异性缩放、质量、摩擦、桌面 10 cm×10 cm 位置和 ±15° 偏航。
第三阶段把教师轨迹蒸成点云学生（ManiFlow 的点云编码器 + DiT-X + flow matching），10 Hz，每次执行 3 步再规划。真机是 KUKA iiwa14 + Sharpa Wave + RealSense L515，硬木桌，没有柔性垫。
运动学：十个 GRAB 轨迹 × 三只手，位置感知接触 F1 全面高于五个开源基线。
| 手 | MMO F1 / 补丁距离 | 最强基线 F1 / 补丁距离 |
| Dex3（三指） | 38.0% / 7.5 mm | 10.2% / 18.9 mm |
| Allegro（四指） | 30.3% / 9.1 mm | 22.0% / 18.7 mm |
| Sharpa（五指） | 37.2% / 9.7 mm | 26.7% / 10.7 mm |
F1 相对最强基线分别高 27.8、8.3、10.5 个点。
同一套残差 RL 换运动学参考：MMO 的任务成功率 82.5% / 69.9% / 91.8%，最强基线 53.2% / 68.2% / 56.5%，Sharpa 上最多高出 35 个点。去掉接触或物体位姿，成功率明显掉（Dex3：双信号 82.5%，只留位姿 51.2%，只留接触 42.5%）。Allegro 手指粗、贴桌间隙小，成功率低于更像人手的 Sharpa，也低于更细的 Dex3。
真机 10 类 × 3 个实物 × 10 个随机位姿，共 300 次：零样本成功率 89.3%。灯泡 30/30，环面 80.0%（胶带卷比 bagel 形参考薄很多）。透明酒杯 LiDAR 看不见，碗里放乒乓球后仍有 93.3%。仿真里教师 91.8%、学生 93.8%，蒸馏掉得不多。
人手视频要变成可用的灵巧策略，接触几何过不去，后面的 RL 再强也是在跟坏参考较劲。MMO 的贡献是把形态差和接触差写进运动学目标，而不是指望动力学阶段自己猜。三只手同一套超参，说明这不是某一只手的调参故事。真机零样本、不做遥操作微调，对「先仿真再上真机」这条路是可核对的进度。渐进，不是新范式：数据仍是 10 条动作捕捉轨迹。
每个物体类单独训残差 RL 和视觉策略，真机只部署了 KUKA+Sharpa。演示来自 GRAB 的动作捕捉网格，不是单目重建；可扩展性故事建立在「以后能吃视频」上，这篇还没吃。各向异性缩放覆盖不了环面那种厚度跳变。酒杯要靠乒乓球才能被深度相机看到，这是评测补丁。桌面碰撞在硬木桌上代价很高，成功标准把「不砸桌」写进去是对的，也说明工作空间仍偏受控。