世界联觉模型让灵巧手抗噪旋转1分钟,CoRL 2026高分收录
机器之心 · wechat · 2026-09-17
Sharpa Robotics 团队提出 World Synesthesia Model(WSM,世界联觉模型),针对灵巧手 in-hand 操作在真实环境中因深度噪声、稀疏触觉和扰动而失效的问题,被 CoRL 2026 高分收录。
- 核心思路:把视觉几何、触觉接触、本体感觉与动作历史统一进 Dreamer 风格 RSSM 世界模型状态,让策略持续推断手-物系统的隐含物理状态,而非只匹配当前观测。训练时输入加噪深度、监督目标却是干净深度,迫使循环状态恢复可用的手-物几何。
- 消融证据:去掉循环输入 Return 降至 705.4,逐帧潜变量策略仅 667.6,完整 WSM 达 753.3——干净几何监督与动作条件循环记忆的耦合是增益来源。
- 可复用先验:9 个物体 z 轴预训练的 WSM 作为物理先验迁移到 49 个新物体,平均旋转从 3.28 提升到 9.37 rad/episode,掉落率从 6% 降到 0.3%。
- 真实部署:在 22-DoF 五指灵巧手上实现多物体 z 轴/y 轴闭环旋转、零样本未见物体泛化、3-6 秒内扰动恢复,真实角块连续稳定旋转超过 1 分钟,优于开环、纯触觉等基线。
作者的核心 know-how 是:世界模型不一定要「想象未来」,也可以先学会更好地「理解当下」,把多模态观测融合成抗噪的世界状态表征,为灵巧操作走向真实泛化提供了一条实用路径。
「具身」频道最新
- Waymo 称模拟大象上高速,结果自家车被拍到路上趴窝 — RexDouglass · 2026-09-17
- SSAD 2026：Sofía Dudas 开讲自动驾驶世界模型，强调超越预测 — abursuc · 2026-09-17
- Ropedia 推学术合作计划,向研究者开放 HOMIE Gen2 采集物理 AI 数据 — MengdiWang10 · 2026-09-17
- 豆包发布汽车座舱助手:多模态控制车机,配车载小屏 — xiaohu · 2026-09-17
- ActionPiece 重构 VLA 动作分词，LIBERO 达 94.8% — DeepCybo · 2026-09-17
- 特斯拉 Optimus 通过「证明你是人类」CAPTCHA 测试 — TansuYegen · 2026-09-17