VLX-Go 论文：多阶段训练让机器人跟踪目标人物抗干扰成功率大增
omlab · hf · 2026-10-16
Om AI Research 与浙江大学滨江研究院发布论文 VLX-Go，研究具身视觉跟踪中「在有干扰者的环境中跟随指定人物」这一难题。现有方法从单目标跟踪切换到干扰场景时成功率显著下降（早期 OmTrekVI-A 模型仅 41.54%）。
方法要点：
- 构建视觉-语言路点策略（vision-language waypoint policy），假设视觉与语言表征应针对要学习的跟踪运动进行对齐
- 结合冻结视觉编码器、多尺度时序上下文、Transformer 骨干和轻量头，输出以机器人为中心的路点预测
- 训练分三阶段：视觉-语言对齐、多模态推理 mid-training、在 19,532 条 oracle 回合上做跟踪专项化
- 辅以在策略精炼（on-policy refinement）进一步降低干扰带来的失败
结果表明分阶段多模态训练能明显提升机器人在人群中对目标人物的鲁棒跟踪能力。
「具身」频道最新
- 机器人会写交响乐却不会洗碗,meme 精准戳中 AI 短板 — briannekimmel · 2026-10-16
- WEDGE:用智能体自身的失败生成针对性训练环境 — mohitban47 · 2026-10-16
- Knödel Watch 开源:ESP32 圆屏动画单词卡,4 天从开箱到 v0.1.0 — alexcovo_eth · 2026-10-16
- SlipSense 触觉研究:23.1ms 检测机械打滑,可零样本跨平台迁移 — micoolcho · 2026-10-16
- 李飞飞团队开源 OpenWAM：统一世界-动作模型框架，让机器人视频预训练成大脑 — jiqizhixin · 2026-10-16
- 机器人折叠衣榜：GPT-6 Astra 1349 Elo 居首,Muse Wonder 1034 排第 6 — qinzytech · 2026-10-16