机器人VLA易学视觉捷径，LIT两阶段训练先学动作再学用视觉
DJiafei · x · 2026-09-11
标准 VLA/WAM 直接在视觉表征上训练动作专家，但训练数据中背景、相机角度、光照可能与示范动作相关，导致模型依赖这些视觉捷径，换到新场景就失效。
LIT(Latent Interface Training) 把训练重构为两阶段：
- 先学动作：不输入图像，仅以语言、机器人状态和每个示范动作块的末端执行器终点位姿为条件训练动作专家。
- 再学用视觉：用第一阶段的动作专家初始化，加入视觉条件——但视觉信息只通过一个潜在接口传入，并用重建同一终点位姿来监督该接口，促使它保留与目标相关的空间信息。
这样在约束视觉条件依赖的同时，保住目标相关的空间信息，缓解分布外场景下的失效。
所属事件:LIT 两阶段训练破解机器人视觉-动作捷径(4 条相关)→
「具身」频道最新
- 芝加哥大学 CS 携四篇全论文亮相 UIST 2026：磁性颗粒、触觉戒指与电触觉 — plopesresearch · 2026-10-28
- Robotaxi 休斯敦被曝服务区图造假：跨两个街区要坐 40 分钟 — reed · 2026-10-28
- 独立开发者让基于人体测量的自制机器人迈出第一步 — IanPritchard · 2026-10-28
- Reward AI OM-1 借 Omnibody 手套从人类演示学操作技能 — CyberRobooo · 2026-10-28
- 4名斯坦福新生36小时造出助行机器人,夺全球最大黑客松大奖 — Scobleizer · 2026-10-28
- 东京大学提出 Just Action Model:VLA 与世界模型之争可解耦 — Yonghao Yu · 2026-10-28