LIT 破解视觉捷径：真机成功率提升 13-17 个百分点
DJiafei · x · 2026-09-11
来自 NUS Magic Lab 等团队的论文《Breaking the Vision–Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models》提出 LIT，解决 VLA/世界动作模型中的视觉-动作捷径问题。
核心思路：光照、背景、相机视角在训练中可能与动作相关，导致策略学到虚假关联。LIT 分两阶段训练，共享同一个空间目标（末端执行器位姿）：
- 第一阶段：不带图像，用语言指令、机器人状态和目标位姿训练动作专家「先学会动作」；
- 第二阶段：视觉特征经一组潜变量 token（监督其预测同一目标位姿）接入，再「学会用视觉」。主干与动作专家保留，仅改接口。
实验结果（YAM 双臂平台真机，3 个任务）：
- 分布内成功率 88.0%（基线 74.7%，+13.3pp）
- 新光照 70.0%（+16.7pp）、新相机 46.7%（+16.7pp）、有干扰物 63.3%（+13.3pp）
- 加干扰物/模糊图像时基线轨迹大幅漂移而 LIT 基本不变；改变指令目标时只有 LIT 转向新目标
- 仿真 LIBERO-Plus 上对 π0.5 等四种架构均提升平均成功率且不损分布内性能
论文、代码与项目页均已开源。
所属事件:LIT 两阶段训练破解机器人视觉-动作捷径(4 条相关)→
「具身」频道最新
- 芝加哥大学 CS 携四篇全论文亮相 UIST 2026：磁性颗粒、触觉戒指与电触觉 — plopesresearch · 2026-10-28
- Robotaxi 休斯敦被曝服务区图造假：跨两个街区要坐 40 分钟 — reed · 2026-10-28
- 独立开发者让基于人体测量的自制机器人迈出第一步 — IanPritchard · 2026-10-28
- Reward AI OM-1 借 Omnibody 手套从人类演示学操作技能 — CyberRobooo · 2026-10-28
- 4名斯坦福新生36小时造出助行机器人,夺全球最大黑客松大奖 — Scobleizer · 2026-10-28
- 东京大学提出 Just Action Model:VLA 与世界模型之争可解耦 — Yonghao Yu · 2026-10-28