触觉世界模型让机器人学会纠偏
机器之心 · wechat · 2026-07-12
机器之心介绍了破晓智能/哈工大深圳杨朔团队的触觉灵巧操作工作 **TouchWorld**，核心是把触觉同时用于“行动前预测”和“接触后纠错”。 - **预测式触觉目标**：在执行任务前，模型不仅预测未来视觉状态，还预测应该形成什么样的触觉接触，例如哪根手指、哪个部位、需要多大压力，作为物理世界里的目标。 - **反应式纠偏**：机器人真正接触物体后，系统持续读取触觉与关节状态，在原动作上做小幅修正，避免“看起来做对了、实际上没完成”的失败。 - **三层时间尺度**：系统拆成 1Hz 高层任务规划与视觉-触觉目标预测、10Hz 中层动作生成、30Hz 触觉反应层快速纠偏，避免把触觉硬塞进统一 VLA 里导致信息被视觉淹没。 - **实验结果**：在浇花、桌面清理、电源插头插入、杯子插入、擦锅、抽纸巾六项真机任务中，完整系统在无扰动/扰动场景下平均成功率为 **65.0% / 57.2%**。去掉触觉输入、去掉 30Hz 纠偏层、去掉触觉世界模型、去掉子任务规划模块，性能都明显下降。 - **数据路线**：团队此前先做了 **EgoTouch** 和 **TouchAnything**，分别解决触觉数据采集、以及从多视角视频恢复触觉的问题；TouchWorld 则把这条路线闭环到机器人实际控制上。 - **工程化与计划**：文章还提到团队在自建硬件、数据管线、评测体系，并计划逐步开源相关数据、代码与模型，继续推进五指灵巧手和全身移动灵巧操作。