N₀-TWAM 让机器人预测触觉，接触任务成功率升至 46.3%
imjustnewatai · x · 2026-07-29
N₀-TWAM 让机器人不只“看见”，还要“感到”下一秒
这篇机器人论文的核心想法是：很多接触类任务里，摄像头并不能判断插头是否插到底、杯子是否在打滑、夹爪到底夹住了物体还是只夹到了空气。于是 N₀-TWAM 同时预测三件事：下一帧画面、指尖接触状态、以及最可能产生这两者的动作；模型还会读取当前的力反馈。
训练规模与数据
- 参数量：7.16B
- 训练数据：约 750 万段 clip
- 覆盖 6 种机器人本体、450 个任务
- 每段数据都对齐了视频、语言、动作和逐指触觉信号
结果
- 在 8 个真实接触密集任务上，平均成功率 46.3%
- 最强 vision-language-action baseline 为 30%
- 在“立瓶子”任务上，模型达到 70%，而最佳 baseline 只有 20%
- 在主要依赖视觉定位的任务上，纯视觉模型也能持平或略优
论文想说明什么
- 去掉“未来触觉预测”后，平均分从 67.0% 降到 56.4%
- 去掉“当前触觉信号”后，进一步降到 50.0%
- 说明主要收益来自那些摄像头看不出来、但物理世界里又很关键的状态
作者把触觉类比成“物理 AI 的验收信号”：机器人不能只做出动作，还要有现实反馈证明动作确实完成了。文中还提到一个潜在的数据壁垒——公开视频很多，但同步记录“物体被抓、扭、插、剥、掉落时到底是什么感觉”的数据几乎没有。
所属事件:N₀-TWAM 赋予机器人触觉预测能力(2 条相关)→
「具身」频道最新
- iPhone Duo 预售火爆：纽约周边门店 3 分钟售罄 — BenBajarin · 2026-10-16
- 马里兰大学提出 PAIR 框架，用桥接 token 打通 VLA 感知与动作 — Kaixi Feng · 2026-10-16
- CI-MSE 离线指标与机器人真机成功率相关性达 -0.87,远超原始 MSE — chris_j_paxton · 2026-10-16
- X 上最值得关注的 15 位机器人研究者名单：Jim Fan 居首 — FinanceYF5 · 2026-10-16
- 双屏概念机「iPhone Duo」被恶搞成明年盯 Agent 神器 — AIFlow_ML · 2026-10-16
- 香港机器人生态观察：Auki 办公室藏着超市级数据采集场 — LoganGrasby · 2026-10-16