宋舒然的 UMI 方案：手持夹爪+GoPro 采数据，逐通道加声音力觉

le_james94 · x · 2026-10-13

lejames94 总结宋舒然在 ETH 的操纵数据采集方法：用手持夹持器配 GoPro（UMI）采集数据，记录观测与末端执行器动作的配对，因此换掉控制器后，同一策略可跑在机械臂、四足或无人机上。

她的取舍逻辑：遥操作不够简单（专用硬件、每个 embodiment 一次），人类视频又太简单（无机器人动作、无接触力）。在基础 UMI 之上逐通道增强：声音（ManiWAV，几美元的接触式麦克风经相机音频同步）、力觉（UMI-FT，硬币大小的六轴传感器，2g，材料成本不到 11 美元）、灵巧手（DexUMI，可穿戴外骨骼配关节编码器，4 任务平均成功率 86%）。