触觉世界模型让机器人学会纠偏
机器之心 · wechat · 2026-07-12
机器之心介绍了破晓智能/哈工大深圳杨朔团队的触觉灵巧操作工作 TouchWorld，核心是把触觉同时用于“行动前预测”和“接触后纠错”。
- 预测式触觉目标：在执行任务前，模型不仅预测未来视觉状态，还预测应该形成什么样的触觉接触，例如哪根手指、哪个部位、需要多大压力，作为物理世界里的目标。
- 反应式纠偏：机器人真正接触物体后，系统持续读取触觉与关节状态，在原动作上做小幅修正，避免“看起来做对了、实际上没完成”的失败。
- 三层时间尺度：系统拆成 1Hz 高层任务规划与视觉-触觉目标预测、10Hz 中层动作生成、30Hz 触觉反应层快速纠偏，避免把触觉硬塞进统一 VLA 里导致信息被视觉淹没。
- 实验结果：在浇花、桌面清理、电源插头插入、杯子插入、擦锅、抽纸巾六项真机任务中，完整系统在无扰动/扰动场景下平均成功率为 65.0% / 57.2%。去掉触觉输入、去掉 30Hz 纠偏层、去掉触觉世界模型、去掉子任务规划模块，性能都明显下降。
- 数据路线：团队此前先做了 EgoTouch 和 TouchAnything，分别解决触觉数据采集、以及从多视角视频恢复触觉的问题；TouchWorld 则把这条路线闭环到机器人实际控制上。
- 工程化与计划：文章还提到团队在自建硬件、数据管线、评测体系，并计划逐步开源相关数据、代码与模型，继续推进五指灵巧手和全身移动灵巧操作。
所属事件:哈工大与破晓智能推出触觉世界模型TouchWorld(2 条相关)→
「具身」频道最新
- 外滩大会观察：AI 与硬件厂商分工成型，蚂蚁扮演攒局者 — 智东西 · 2026-09-11
- 亚马逊谷歌卖出6亿台音箱,AGI 时代为何无人再造智能音箱 — julianlehr · 2026-09-11
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- 波兰开发者做 iPhone 应用 可探测附近的 Meta 智能眼镜 — Low-Honeydew6483 · 2026-09-11
- 蚂蚁阿福用户达 1.5 亿，外滩大会展示 AI+硬件健康管理联盟 — APPSO · 2026-09-11
- JHU 开设全栈机器人学习课:组装机械臂、采数训练部署一条龙 — _krishna_murthy · 2026-09-11