T-WLA: Bridging Slow Vision and Fast Touch
Kaichen Zhou, Yuzhen Chen, Hannah Yao, Chonghe Jiang, Rao Fu, Xihang Yu, Wei Dai, Bashar Kabbarah, Haoyu Chen, Ishita Goluguri, Zhiyang Dou, Haonan Chen, Fangneng Zhan, Mengyu Wang, Wojciech Matusik, Antonio Torralba, Paul Pu Liang
cs.RO
2026-10-21
视觉分支以 39.7 Hz 生成动作块并缓存记忆，触觉编辑器以 119.1 Hz 只修正尚未执行的步。手指关节误差比最强基线低 30%，四项真机任务平均成功率约 50%。
接触丰富的操作里，纸会不会捏皱、鸡蛋会不会从指尖滑掉，往往取决于碰上之后的几十毫秒。视觉策略要等下一帧、再跑一遍网络才能改计划，接触在这段延迟里已经变了。压力图分得清捏紧还是打滑，说不出任务要手往哪边修，也说不出动作块里哪几步还没执行。
视觉语言动作模型（VLA，按图像和语言指令直接出动作）和世界动作模型（WAM，用未来状态预测约束动作）通常共用一个时钟。T-WLA 把问题收成一句：两次视觉更新之间，快触觉怎样改一份已经发出、还没执行完的慢计划。
T-WLA（Tactile World-Language-Action）用同一份带历史的视觉记忆做两件事：出基础动作块，并在执行完之前按触觉改它。
视觉分支约 39.7 Hz 更新一次。8 个可学习查询从记忆库读取最近 K=8 次输出，每次 8 个宽度 960 的 token，与当前图像、任务指令、视野和本体状态一起进入视觉语言骨干。动作专家用条件流匹配，学习从噪声指向动作的速度场，按这份记忆生成动作块并缓存。每段开始清空记忆库，只留最近 K 组。
触觉分支约 119.1 Hz。两次视觉更新之间只跑编码器和编辑器。每只手取最近 8 帧 21×21 压力图，CNN 接双向 GRU，减去固定参考压力窗，编码相对接触变化。小 Transformer 读入缓存的视觉记忆、基础动作块和已过时间；FiLM 用触觉特征缩放并平移动作隐状态，残差头只改尚未执行、且该手触觉有效的步。改正量加回最初缓存的动作，不累加到上一拍的改正上。没有有效触觉的手，改正为零。
训练分三步。视觉分支先用动作损失加未来图像预测。触觉编码器在 EgoTouch 上用对齐的触觉和手部姿态做对比预训练。然后冻住视觉分支，用缓存的记忆和动作块训练编辑器，损失是分组平衡的 Smooth L1，另加残差幅度惩罚。未来图像和未来压力两个头只在训练时起作用，推理时卸掉。
下次视觉更新之前，基础计划仍然是有用参照。手没碰到物体，编辑器没有信号可跟。
手部姿态预测用 EgoTouch 五个场景的宏平均，以及 Tachin 的留出测试集。基线接入同一路触觉，编码和优化预算对齐。T-Rex 与 T-WLA 保留自己的多速率接口。
| 方法 | EgoTouch 手指 MPJPE | Tachin 手指 MPJPE | 触觉频率 |
| VITRA + tactile | 0.50 cm | 0.63 cm | 58.2 Hz |
| SmolVLA + tactile | 0.50 cm | 1.28 cm | 69.0 Hz |
| MemoryVLA + tactile | 1.34 cm | 1.87 cm | 15.0 Hz |
| T-Rex | 1.14 cm | 1.08 cm | 17.16 Hz |
| T-WLA | 0.35 cm | 0.46 cm | 119.1 Hz |
腕部相对的手指关节误差，对各数据集最强基线，EgoTouch 从 0.50 cm 降到 0.35 cm，约 30%；Tachin 从 0.63 cm 降到 0.46 cm，约 27%。腕部收益小：EgoTouch 平移 3.96 cm、旋转 6.10°，最强基线为 4.08 cm、6.27°。修正频率 119.1 Hz，高于表中最快的 SmolVLA，69.0 Hz。
真机是双臂 Linker A7black，每臂 7 自由度，Linker Hand L6 提供指尖触觉，RealSense D435i 提供自我视角。每项任务 30 条遥操作。上真机前只在人手数据上训练。SmolVLA 与视觉分支有共用组件。
| 控制器 | 鸡蛋转移 | 单页拾取 | 纸杯套叠 | 纸袋拖拽 | 平均 |
| SmolVLA | 0% | 28% | 0% | 39% | 16.75% |
| SmolVLA + tactile | 0% | 30% | 1% | 37% | 17.0% |
| T-Rex | 4% | 3% | 22% | 63% | 23.0% |
| T-WLA 无触觉 | 18% | 72% | 17% | 82% | 47.25% |
| T-WLA | 21% | 78% | 17% | 84% | 50.0% |
平均成功率 50.0%，SmolVLA + tactile 为 17.0%。去掉触觉已到 47.25%，触觉再加 2.75 个百分点。单页拾取 72% 到 78%，纸袋拖拽 82% 到 84%，鸡蛋转移 18% 到 21%，纸杯套叠维持 17%。薄纸要防滑又不捏皱；套杯还要对齐和放置，抓握残差盖不住。同样预算下 VITRA 和 MemoryVLA 没有成功试次。
去掉触觉后手指误差升得最多，EgoTouch 从 0.350 cm 到 0.430 cm，升 22.9%，Tachin 从 0.460 cm 到 0.500 cm，升 8.7%。去掉循环记忆，Tachin 平移升 21.6%，旋转升 9.4%。K 从 8 缩到 4，六项平均变差 2.3%；两个预测目标都去掉，平均变差 1.0%。六项里五项以 T-WLA 最低，Tachin 关节误差与短记忆同为 0.460 cm。
没有触觉时，GigaHands 平均平移 0.65 cm、旋转 3.64°、关节 0.43 cm，相对 SmolVLA 降 25.3%、15.9%、54.7%，更新频率 39.7 Hz，高于 23.0 Hz。九组里八组最好，唯一落后的 TACO 平移是 0.75 cm，SmolVLA 为 0.72 cm。
能带走的是分工。慢分支出带历史的动作块，快分支用缓存记忆改未执行步，推理不重跑视觉骨干，预测头不进回路。
真机 50.0% 对 17.0%，主要差在视觉分支，无触觉已有 47.25%。手指误差大约 30% 的下降，才对得上编辑器。预测头拿掉后平均只差约 1%，推理时本来就不跑。
每任务 30 条遥操作，把人手上训好的编辑器接到 Linker Hand。四项平均 50%，纸杯套叠 17%。接口可以跟进，这个成功率还不够部署。
基础计划得撑到下一次视觉更新。SmolVLA 失败时手常在目标旁合拢，接触很弱，加触觉只从 16.75% 到 17.0%。编辑器管的是碰上之后怎么调。纸杯套叠有无触觉都是 17%。论文写明，总成功率分不出卡在抓握、对齐还是放置。
消融里很多差只有 0.01 cm 量级，预测监督大约 1%，和噪声不好分开。真机没报告试验次数。47.25% 与 50.0% 相差 2.75 个百分点，这个差稳不稳，论文没有给证据。
主表按序列平均再做宏平均，不能和逐帧池化混比。附录接触门限 0.25，正文没写主表是否用了该子集。192 维中 54 维是填充，关节误差只算第 1 到第 20 关节。视觉分支用流匹配，编辑器用 Smooth L1。联合微调只是附录里的提议。压力图为 21×21，参考窗来自训练集，换传感器后能否沿用，没有验证。