新智具身与复旦开源 3 万小时触觉数据,押注具身智能
机器之心 · wechat · 2026-07-26
触觉正在变成具身智能的核心基建
新智具身联合复旦大学发布了三份技术报告,核心观点很明确:对机器人来说,触觉不再只是辅助信号,而是决定能否跨过“最后一厘米”的关键模态。整套内容包括一个触觉数据底座、一条触觉增强的 VLA 路线,以及一个同时预测视觉、触觉和动作的世界模型。
数据层:先把触觉做成可训练基础设施
- NeoData 收录了 3 万小时以上 的视触交互视频。
- 包含约 140 万条 操作片段、33 亿 个时间步、80 亿帧 RGB 图像和 100 亿帧 触觉图像。
- 覆盖 6 种机器人本体、450 个真实长程任务,由 90 位操作员 采集。
- 团队还开源了 5000 小时 视触交互视频。
两条模型路线
- VTLA 不再只依赖滞后的触觉反馈,而是预测未来 50 步 的触觉变化,用来提前判断打滑、受力变化等风险。
- 报告给出的结果包括:插插头成功率 85%、拔钥匙成功率 99%,明显高于纯视觉方案。
- TWAM 把视觉、触觉和动作放进同一个世界模型里,采用三个异步专家网络;仿真平均成功率 84.5%,真机 8 项任务平均成功率 46.3%。
这组工作的意义
这几份报告的共同结论是:机器人要真正理解物理世界,不能只“看见”,还要“摸到”。触觉数据和触觉预测,可能会像视觉预训练一样,成为下一阶段具身智能的基础设施。
所属事件:新智具身联合复旦发布触觉具身智能系列工作(2 条相关)→
「具身」频道最新
- 单轮机器人演示暴露出平衡控制有多难 — 2C_ornot2C · 2026-07-26
- NeoteAI 联合复旦把触觉推成具身智能核心基建 — 量子位 · 2026-07-26
- 为什么机器人不必人形化,这条 AI 硬件观点很直接 — VraserX · 2026-07-26
- MicroFactory 新机器人已能装配电子元件 — viktor_vrp · 2026-07-26
- Magic Leap 停做自家 AR 头显,转型光波导供应商 — 创业邦 · 2026-07-26
- CVPR2025 论文用相机自运动,让视频无标注学会三维听声辨位 — 量子位 · 2026-07-26