换机器人只换一个小模型,UW 分层 VLA 导航平均成功率 90%

VAMOS: A Hierarchical Vision-Language-Action Model for Capability-Modulated and Steerable Navigation

Mateo Guaman Castro, Sidharth Rajagopal, Daniel Gorbatov, Matt Schmittle, Rohan Baijal, Octi Zhang, Rosario Scalise, Sidharth Talia, Emma Romig, Celso de Melo, Byron Boots, Abhishek Gupta

cs.RO, cs.AI, cs.LG

2025-10-24

UW 的 VAMOS 把导航拆成 VLM 规划加可替换的身体可行性打分,真机平均成功率 90%,同一规划器通吃足式与轮式。

这篇在解决什么

机器人导航长期分两条路线。传统模块化栈(状态估计、感知、规划、控制分层)可靠、可解释,但每层都为特定本体和场景手工调过,换机器人基本重来。端到端的导航基础模型靠数据换性能,但单个网络要同时学「往哪走」和「这具身体走不走得了」,数据一杂就出问题:四足爬楼梯的示教对轮式机器人没用,不同数据集连动作空间都对不上。

基线数字把第二条路的现状摆得很清楚:NoMaD 和 NaVILA 两个代表性导航基础模型,真机室内外平均成功率只有 27% 和 10%,连调好的传统模块栈(53%)都不到。VAMOS 要回答的问题是,怎么池化异构多机器人数据训出一个通用导航器,同时让每具身体只执行自己物理上做得到的动作。

方法

核心动作是解耦:高层管语义,低层管身体,接口是一条 2D 像素路径。

语言操控顺带解决:10% 训练数据用 GPT-5-mini 做链式标注,对每条真值轨迹生成 4 条带噪版加 1 条镜像,让模型描述场景、比较路径、排序取前三入训,再混入 COCO-QA 与 Localized Narratives 两个纯文本视觉问答集防遗忘。测试时在目标坐标后补一句偏好,比如靠右走、走坡道,预测路径随之改变。

换机器人时,高层 VLM 原封不动,只换那个 MLP 和底层控制器。

结果

六个真机场景各测 5 次:室内是约 20m 走廊、低光杂乱中庭、约 5m 且目标被大障碍遮挡的实验室;室外是约 40m 含 7 级台阶的校园、约 20m 植被地形森林、约 15m 要躲藤蔓的下坡道。成功率为百分数:

方法走廊中庭实验室校园森林下坡道平均
Modular Stack100100100002053
ViPlanner1001000100100067
NoMaD60040006027
NaVILA2004000010
VAMOS10080100801008090

模块栈栽在室外感知,ViPlanner 栽在需要长远规划的实验室和下坡道,两个学习型基线在开放场景大多走直线或撞墙。VAMOS 是唯一在全部六类环境都不低于 80% 的方法。

楼梯与坡道并排通向高台的跨本体测试(每组 10 次):足式 Spot 加不加调制都是 100%;轮式 Hound 从 60% 升到 90%,选择从爬楼梯 4/10 转向走坡道 9/10。同一场景 ViPlanner 在 Hound 上为 0%。单机器人同样受益:VLM 在分布外预测出穿障碍物的路径时,调制把成功率从 20% 提到 60%,摘要里的 3 倍由此而来。语言偏好用 VLM 裁判评测一次,20/20 对齐。离线侧,池化数据训出的规划器在四个验证集上的轨迹误差全部低于单机器人版本,多数指标统计显著(p<0.05)。

为什么重要

可迁移的结论有三条。异构机器人数据可以合并训练,前提是接口与动作空间无关,2D 路径是被真机验证过的选择,攒多机器人数据集的团队可以直接抄。跨本体迁移被压缩成在仿真里训一个小 MLP,真机零风险,比每个机器人微调一整个基础模型便宜得多。基线数字则给「scaling 解决导航」泼了冷水:通用导航模型在复杂真机环境里还没有跑赢调好的传统栈。

定位也要说清:这是系统层面的组合创新,VLM、affordance 学习、分层控制都是现成组件,贡献在接口设计和完整的真机验证,单点算法突破有限。

局限与存疑

论文自述的短板:训练数据几乎全是静态场景,示教里行人通常自己让开,模型对近距离动态障碍规避很差;过弯时常过冲或欠冲。数据配比靠启发式手调,试过的两种廉价数据源(CoTracker 伪标签视频、iPhone ARKit 采集)加进去反而掉点,只能弃用,自动选配比留给未来工作。高层推理在 RTX 3080 笔记本上仅 1 Hz,电池下 0.5 Hz,动态场景不够用。

另有几处要留意:每场景只测 5 次,成功率粒度 20%,80% 与 100% 的差距可能只是一次采样;跨本体实验那版 VLM 用了 50 张人工标注图衍生的 2K 样本微调过(论文脚注),不是纯零样本;affordance 打分依赖 LiDAR 加深度相机建的高程图,纯视觉方案不能直接照搬;仿真里 Spot 用的是 PPO 训的代理运动策略,不是真机内置控制器,换差异更大的本体时代理保真度没有验证。

术语

原文与代码

社区讨论

相关论文

全部论文解读