Learning Heterogeneous Tactile Representation for General Dexterous Manipulation
Bing Han, Yichuan Peng, Haoyu Dong, Yuanmeng Hu, Yongyi Jia, Fangjing Wang, Kecheng Zheng, Yiming Zhang, Yanhong Zeng, Xiaoqing Zhang, Chen Song, Rundong Zou, Anqi Dong, Yuan Guan, Ka Leong Cheng, Xing Zhu, Yujun Shen, Nan Xue, Wei Ning
cs.RO
2026-11-10
约 5000 小时压阻、磁性和视觉触觉训出 LingBot-Touch。冻结的 546 万参数编码器接入后,26 项真机任务上四类策略提升 13.9 到 24.8 个百分点,原始信号最多约一半。
灵巧操作要知道指尖按了多重、抓得滑不滑,视觉够不着。压阻、磁性、视觉触觉都能测到接触,通道、排布、分辨率和采样率却各写各的。换一只手,模型作废,记录也合并不进同一个训练集。指尖压到一条棱上,磁强计、电阻阵列和凝胶相机记的是同一件事。Robbyant 的 LingBot-Touch 去掉各传感器自己的物理,留下接触的几何和时间结构。
语料 4983 小时、464431 条、约 13.3 亿帧,24 类操作,标签只到任务类别。约三分之二来自手套,压阻 2197 小时、磁性 1136 小时;三分之一来自 Sharpa Wave 遥操作,视觉触觉 1650 小时。预训练时三类来源等概率抽样。
每个采样点(taxel)有三维坐标和手指编号,按传感器几何放进单位半径的标准指尖。五维地址是时间、手指和三维位置,只通过旋转位置编码进注意力,token 数量不用固定。三种传感器各用两层 MLP,把同一 taxel 连续两帧的六个数嵌成一个 token,后面是共享的 Haptic Transformer。
目标是 Tactile-JEPA:在隐空间预测被遮住的接触,不重建原始读数。触觉片段大部分是零,重建会把损失耗在背景上。上下文编码器只看可见 token;目标编码器看完整片段,参数用指数滑动平均更新;预测器对遮住位置和可见位置都做 L1,可见项权重 0.5。空间遮挡最终为 80%,整段共用一张掩码,避免从邻帧抄被遮住的点。前 300 步把遮挡率从 40% 升到 80%。接触点通常很少,一开始就遮 80% 会把它们全部挡住,训练梯度爆炸。全程 20 万步。
训练会改采样密度,并把每个 taxel 移动最多半个相邻间距,避免记住仅有的三种排布。新传感器投进同一指尖坐标、走对应 tokenizer 即可,编码器不再更新。
两个型号都是 12 层。Tiny 546 万参数,Small 2176 万。真机用冻结的 Tiny,参数量相对 T-Rex、π0.5、LingBot-VLA 增加 0.16%、0.15%、0.13%。
探针只训练读出头。下表是 Small、约 5000 小时。FTP-1 每只手另训了输入适配器,斜线前后对应 Sharpa 与 XHand1。Sharpa 的视觉触觉进过预训练,XHand1 的磁性传感器没有。合力量程是 0 到 30 N。
| 探针 | Sharpa Wave | XHand1 | FTP-1 |
| 合力误差 (N) | 0.81 | 1.32 | 2.31 / 3.72 |
| 接触中心 (mm) | 0.12 | 0.16 | 2.19 / 5.89 |
| 覆盖误差 (个百分点) | 0.66 | 0.43 | 2.90 / 4.39 |
| 未来四帧力 (N) | 1.04 | 1.45 | 1.67 / 2.00 |
| 视频召回 top-5 | 72.6% | 47.1% | 16.5% / 6.0% |
Small 从 1000 小时加到 5000 小时,Sharpa 合力误差从 1.68 N 降到 0.81 N,召回从 42.5% 升到 72.6%。Tiny 大约到 4000 小时就不再提高,5000 小时时检索下降。本传感器的小时数不变、再补上其他传感器,八组探针七组变好,磁性侧合力从 4.34 N 降到 2.52 N。总预算固定 1000 小时,单传感器模型在自己的传感器上八组赢了七组,视觉触觉的接触中心是 0.34 mm,三种混合是 0.68 mm。
同样 546 万参数,VAE 和 MAE 改为重建信号。1000 小时接触中心误差:JEPA 0.90 mm,VAE 3.03 mm,MAE 3.07 mm;召回 32.1%,对照 4.4% 和 5.6%。4000 小时时 JEPA 到 0.32 mm、召回 49.3%,VAE 在五项里有四项变差。
真机 26 项双臂任务,每项 20 次。示教每项 200 条,需要双手的任务 500 条。Tiny 以 4000 小时预训练并冻结。表中是 26 项平均。
| 策略 | 无触觉 | 原始触觉 | LingBot-Touch |
| Diffusion Policy | 21.6% | +7.0 个点 | 35.6%(+13.9) |
| π0.5 | 48.1% | +6.6 个点 | 69.9%(+21.8) |
| LingBot-VLA | 48.3% | +8.2 个点 | 73.1%(+24.8) |
| T-Rex | 45.4% | +11.2 个点 | 68.6%(+23.2) |
104 个组合里,LingBot-Touch 最好的有 89 个,不低于原策略的有 99 个。原始触觉还有 22 个组合变差,麻将分拣上 LingBot-VLA 从 28.8% 掉到 5.0%。在没见过的 XHand1 上,原始信号让四种策略变动 +4.6、-1.7、0、+2.0 个点,同一信号经过编码器是 +16.3、+24.5、+17.8、+13.8。拉链有没有咬合,LingBot-VLA 从 11% 到 55%;SD 卡有没有弹出,T-Rex 从 32% 到 92%。
仿真用 PPO,三个随机种子,十二项任务。平均成功率:LingBot-Touch 69.0%,随任务训练的 CNN 45.6%,原始信号 38.5%,二值接触 30.3%,没有触觉 21.4%。转笔一项是 97.1%,次优 64.2%。LingBot-Touch 的种子标准差平均 3.9 个点,最高 9.2;对照在转笔上达到 55。
五项 Sharpa 任务上,LingBot-VLA 无触觉为 55.9%。触觉预训练从 1000 小时增到 5000 小时,成功率依次为 69.8%、74.3%、77.4%、81.4%、82.2%。换成 FTP-1 的触觉编码器,平均只有 67.5%。
手套负责把小时数攒起来,指尖坐标负责换手。冻结编码器压成每只手 40 个 token,接到 Diffusion Policy 或现成 VLA 上,后训练配方不用改。同样接了触觉硬件,原始读数的增益大约只有一半,还有一批任务变差。
别的传感器贡献的是力和短时动态。小时预算固定时,混合训练会损失一点空间精度。单编码器的代价就在这里。
论文列出三条。实验手型还要再多;电容传感器没有进预训练,原因是手头记录达不到质量要求;标准几何和语料都集中在指尖,手掌和其余指段的接触几乎没有学到。
26 项任务的百分比来自分项评分。3.75% 和 93.30% 落在 5% 网格外面,20 次非此即彼的试验打不出这种数,所以 13.9 到 24.8 个点里包含子步骤得分。26 项里 20 项在预训练见过的 Sharpa Wave 上,XHand1 只有 6 项。接到策略上的是 4000 小时的 Tiny,探针里随着数据继续变好的 Small 没有参加这 26 项。仿真触觉按几何穿透深度渲染,合力误差 3.264 N,同一类探针在真机 Sharpa 上是 0.81 N。仿真平均 69% 停在仿真分布里。公开内容是推理代码、少量样例记录,以及 Tiny 和 Small 的检查点,4983 小时语料没有一起放出。