T-Rex把灵巧手成功率提到65%,关键是给触觉单独开快车道
量子位 · wechat · 2026-07-26
量子位这篇文章解读了灵巧手触觉模型 T-Rex,核心结论很直接:对精细操作来说,触觉不是锦上添花,而是必需品。
- 在 12 项真实灵巧操作任务上,T-Rex 平均成功率达到 65%,明显高于最强纯视觉基线的 35%。
- 把触觉输入完全拿掉后,成功率从 65% 掉到 42%,说明“手感”在很多任务里占了很大比重。
- 反而是把触觉力信号直接拼进预训练 VLA 模型里,会让表现变差:一个实验里成功率从 17% 降到 6%。
- 文章拆解了原因:灵巧手数据采集贵、视觉与触觉频率不匹配、触觉不能被当作静态数值。
- T-Rex 的解决方案是 Mixture-of-Transformer-Experts:视觉/语言、动作规划、触觉精修三路分工;再用 VQ-VAE 把触觉历史压成离散码字。
- 训练分三阶段:大规模人类视频预训练、约 100 小时遥操作中期训练、再用约 100 条任务演示微调。
- 文章最后判断,灵巧手可能会从通用具身智能里分化成独立赛道,而触觉数据会成为关键壁垒。
「具身」频道最新
- 中国机器人团队用踢打和扑倒训练人形机器人 — 2C_ornot2C · 2026-07-26
- D-Propulse 亮相空气呼吸式爆震发动机与一体化喷管 — Paimaamu · 2026-07-26
- reMarkable 电子纸 demo 把平板变成会写字的 AI 笔记本 — Olivier__OG · 2026-07-26
- 中国机器狗可自动切换轮腿模式,续航30公里 — RoboBalaji · 2026-07-26
- 蚂蚁开源 2000 小时第一视角操作数据集 — burny_tech · 2026-07-26
- 单轮机器人演示暴露出平衡控制有多难 — 2C_ornot2C · 2026-07-26