ZeroVLN 免对 VLM 微调实现导航:语义工具调用+闭环 RL 优于 SFT 方法

ZYT-AI · hf · 2026-11-20

北航、卓驭科技与浙江大学团队提出 ZeroVLN,一个快慢框架,首次实现对 VLM「大脑」零导航域监督微调的视觉语言导航。传统方法会在导航数据上微调 VLM,导致通用视觉能力退化。

做法:不给大脑预测几何目标的任务,而是给它一个语义工具调用接口,用自然语言把移动决策传达给动作专家;先让动作专家执行,再通过闭环强化学习联合优化大脑的移动决策与动作专家的连续执行。在 VLN-CE 基准上,ZeroVLN 用同样的导航数据显著超越代表性 SFT 分层方法,同时大脑权重变化很小、通用能力基本保留,也是首个在 VLN-CE 中用闭环 agentic RL 联合优化快慢策略的框架。

原文链接 →

「具身」频道最新

更多「具身」频道 AI 资讯 →