HarnessVLN: Unifying Training-Free Embodied Navigation through an Agent Harness
Yang Chen, Lirong Che, Zhenyu Huang, Wenbo Fu, Chuang Wang, Xu Cao, Daqi Liu, Yuzhe Yang, Jian Su, Lan-Zhe Guo
cs.RO
2026-09-14
南大与AgiBot提出HarnessVLN:Agent Harness在执行前校验空间证据与可达性,同一协议覆盖指令跟随和物体导航,R2R成功率60.8%、OVON 59.3%,均超此前零样本SOTA。
训练式导航要把视觉观测和语言指令映射成动作,换任务、换环境就要再收轨迹。零样本路线把 multimodal large language model(MLLM,多模态大语言模型)当成规划器:看图、拆指令、提议下一个子目标,下游模块再去落地。语义推理变强了,管线仍是任务特制的。规划器说「去那扇门」,那扇门可能观测已过期、几何上走不通,或上一轮已经撞过。
识别到目标不等于走到。发出动作不等于子目标完成。过期观测、不可达目标和执行失败会把后续规划拉离真实任务状态,反复尝试或提前停。HarnessVLN要补的是运行时这一层:把空间证据、任务进度和执行结果绑在一起,持续校验规划器的提议。
南大、AgiBot与清华把这层做成 Agent Harness。MLLM 只提议语义操作。真正派发前,Harness 检查参数是否合法、支撑证据从哪来、目标几何上能不能到、是否跟当前子目标和失败历史一致。工具返回结构化反馈(到达、碰撞、不可达、无进展),再写回内部状态和地图。
统一工具接口八个:
换底层感知或控制器,不必改规划器协议。
记忆分两套。层级事件记忆管任务侧。工作记忆只留当前观测、有界全景历史、活跃假设和近期反馈,不随轨迹无限涨。进度记忆给每个子目标一个 id,状态是 pending / active / completed / blocked,同时最多一个 active;完成必须有位姿对齐观测或成功工具结果撑着,规划器不能空口推进。反思记忆记下不可达、接地不一致、碰撞、无进展、回退失败、被拒的停请求,带地点、时间和支撑观测。
Spatiotemporal Graph(ST Graph,时空图)管环境侧。地点节点合并空间兼容的观测,相邻地点用双向 NavigableTo 边连成拓扑,供前进和回退。实体节点存物体目标和指令里的地标,带语义别名、空间假设、置信度和支撑视角;ObservedFrom 记下从哪看、何时看,Contains 记下粗粒度的地点-实体关系。检索按活跃子目标给地点打分:语义相关、新近、空间显著性,减去适用的失败惩罚,只把 top-K 扩一跳送进 MLLM。图可以长,上下文不必跟着长。失败只在图上挂轻量标注,完整事件仍在反思记忆里。
Navigation Executor 可替换。平面运动用 FMM(Fast Marching Method,快速行进法)规划,上楼调用 NavDP。停是请求不是特权:Fstop 要同时过语义身份、几何有效、任务进度三道门。物体导航要求目标可见且在停半径内;指令跟随要撑得住最后一段路线、被引用的地标和接地端点。被拒的停记入反思记忆,触发再观测、精修目标、靠近或回退。
感知侧 GroundingDINO 出开放词汇框,SAM 出分割。仿真观测 640×480 RGB-D、水平视场 79°。主实验里指令跟随用 GPT-5.5,物体导航用 GPT-5.6-luna,与 AgenticNav 的同模型对照对齐。
VLN-CE R2R / RxR val-unseen,连续环境、场景在 MP3D:
| 方法 | R2R SR | R2R SPL | R2R OSR | RxR SR | RxR SPL |
| HSGM(此前零样本) | 47.9 | 32.8 | 58.7 | 41.8 | 25.1 |
| AgenticNav-GPT-5.5 | 55.0 | 48.4 | 65.0 | – | – |
| HarnessVLN-GPT-5.5 | 60.8 | 43.5 | 72.7 | 53.9 | 38.0 |
| ABot-N0(训练式) | 66.4 | 63.9 | 70.8 | 69.3 | 60.0 |
相对同用 GPT-5.5 的 AgenticNav,R2R 成功率高 5.8 点、OSR 高 7.7 点。相对 HSGM,RxR 成功率高 12.1 点、SPL 高 12.9 点,nDTW 几乎持平(54.8 vs 54.9)。R2R 的 SPL 比 AgenticNav 低 4.9 点:更能停对,路径更绕。训练式头部仍领先,ABot-N0 的 R2R 成功率 66.4%、SPL 63.9%。
物体导航在 HM3D-v2(1000 条,固定类别)和 HM3D-OVON(3000 条,开放词汇):
| 方法 | 训练 | v2 SR | v2 SPL | OVON SR | OVON SPL |
| DRIVE-Nav | 否 | 72.4 | 41.3 | 50.2 | 32.6 |
| MSGNav | 否 | 74.4 | 33.4 | 48.3 | 27.0 |
| HarnessVLN | 否 | 76.0 | 37.9 | 59.3 | 36.6 |
| ABot-N0 | 是 | – | – | 54.0 | 30.5 |
OVON 上超过表里全部训练式方法,含 ABot-N0 的 54.0%。HM3D-v2 成功率 76.0% 略超 MSGNav 的 74.4%,SPL 37.9% 仍低于 DRIVE-Nav 的 41.3%。
固定 100 条的累加消融,基座模型和评测设置锁死:R2R 成功率从 46.0 到加记忆 54.0、再加图 60.0、再加停校验 64.0;OVON 从 45.0 到 52.0、53.0、55.0。停校验把 R2R 的 OSR-SR 缺口从 15.0 收到 13.0,OVON 缺口从 18.0 扩到 19.0,SPL 从 34.2% 降到 33.0%。附录同协议换模型,OVON 100 条子集上 GPT-6-astra 到 63.0,Qwen3.8-flash 51.0;同一 GPT-5.6-luna 下 MSGNav 只有 37.0。
真机落在 1.74 米高的 AgiBot A3U 上,规划换成 Qwen-3.8-27B,深度用 Fast FoundationStereo。展示了走廊指令跟随、开放词汇找灭火器、先到入口指示牌再找售货机,没有给成功率数字。
可迁移的是运行时协议,不是又一个 planner prompt。MLLM 继续当语义规划器,空间校验、失败回写、停门控从模型里拆出来。指令跟随和物体导航共用工具合同,换 FMM、NavDP 或真机局部规划器不必重训策略。
已经在用 GPT 类模型做零样本导航的团队,同模型相对 AgenticNav 的 5.8 点 R2R 增益,更接近 harness 本身的贡献。开放词汇找物上甚至超过部分训练式系统,证据校验在这里比再堆轨迹更值钱。
它不是免费午餐。R2R 和 HM3D-v2 的 SPL 没有一起涨。指令跟随上训练式大模型仍更高。真机只有定性演示。
论文自己写:当前 Harness 依赖预定义编排和校验规则,下一步才想做开放环境里的自演化。
消融只在各 100 条子集上,和全量 val 的 60.8% / 59.3% 对不上,增量幅度不能直接外推。两类任务还换了基座模型,「一个协议打两类任务」成立,「一个模型打四张表」没有在主实验上证明。
失败案例更具体。R2R episode 839 投影目标距离 0.998 米通过几何门,终点却离真目标 6.48 米:靠近所选的点,不等于指令终点对。HM3D-OVON 2469 深度 1.20 米过门,benchmark 测地距离 2.15 米失败:传感器近和评测成功是两套尺子。停校验提高完成率,并不一律提高效率。
真机三例、无统计。附录模型敏感性仍是 100 条子集。