Robbyant 开源 LingBot-Touch：让机器人指尖拥有触觉感知
rohanpaul_ai · x · 2026-11-10
Robbyant 发布开源（Apache 2.0）触觉模型 LingBot-Touch，解决摄像头无法告诉机器人握力大小、抓取是否打滑的问题，将指尖传感器读数转化为控制软件可用的信号。
- 作者训练了三个同规模（各 5.46M 参数）编码器：4000 小时时，在潜空间预测 masked 部分的 JEPA 版本在触觉→视频检索上达 49.3% top-5；MAE 保持在 9% 以内；VAE 反而退化到 3.1%，比 1000 小时时更差。
- 作者分析原因在于数据本身：指尖只按压少数点位，大部分帧接近零且非零读数噪声大，重绘像素意味着复制无法预测的零与噪声，JEPA 只预测表征因此可以跳过二者；论文也将稀疏性与低信噪比列为选择 JEPA 的原因。
- 训练细节：从第一步就 mask 80% taxels 会导致大量片段无接触可看、梯度爆炸，因此在最初 300 步将 mask 从 40% 渐升到 80%；目标来自 EMA 编码器四个深度，沿用 V-JEPA 2.1。
- 多源数据实验：固定目标传感器自身数据、仅加入其他模态后，8 组传感器-任务对中 7 组获得提升，表明异构传感器数据可直接惠及单个传感器。
配图为仿真强化学习结果：12 个仿真任务上 LingBot-Touch 平均训练成功率达 68.95%，明显高于无触觉（21.42%）、二值触觉（30.33%）、原始触觉（38.48%）和 Tactile CNN（45.59%）。
所属事件:蚂蚁开源触觉基础模型 LingBot-Touch(24 条相关)→
「具身」频道最新
- Perceptron 开源 EgoHome：亚秒级第一视角家务视频基准 — lukas_m_ziegler · 2026-11-11
- Claude称Fable 5.2机器人控制大幅提升,实机折纸箱却翻车 — _Stocko_ · 2026-11-11
- AI2 开源 ToyBlocks:用「任务相关保真度」评测机器人世界模型 — allen_ai · 2026-11-11
- OpenTac 开源触觉皮肤：CAD 一键给任意机器人表面布传感器 — _krishna_murthy · 2026-11-11
- 英伟达开源 Alpamayo 2 Edge:车载实时推理,让自动驾驶能解释决策 — nvidia · 2026-11-11
- 英伟达开源机器人基础模型 GR00T 2:权重、数据、仿真引擎全套开放 — DrJimFan · 2026-11-11