EviRover: Reinforcing Agentic Perception Beyond a Glance
Kaixuan Fan, Kaituo Feng, Tianshuo Peng, Yilei Jiang, Manyuan Zhang, Junke Wang, Xiangyu Yue
cs.CV, cs.AI
2026-10-01
把 grounding、分割、计数重新定义成「找证据的过程」:4B 的 EviRover 用 SFT 加智能体 RL 学会判断缺什么证据、去图内放大或联网搜索,在自建 EviLens 上平均超底座 30.2 分,追平 Gemini-3.5-Flash 等闭源模型。
感知任务有个 longstanding 的默认设定:给一张图和一个 query,模型一次前向就输出框、mask 或数字。这个设定背后藏着一个假设:图里的内容加上模型的参数化知识,总够用。
实际上经常不够用。高分辨率图里目标占不到 0.1% 的面积,一眼根本看不清;合影里那个「某研究所 2003 到 2008 年的院长」是谁,模型不搜就不知道。这两种情况论文统称为 evidence insufficient(证据不足)下的感知。此时模型还是得硬输出一个位置或边界,没有第二次机会。已有的多模态 agent 也交互,但交互是为了产出一段文字答案;把框画在图的哪个位置、mask 边界在哪里,这类输出本身没法靠搜一段文字直接换出来,所以感知是比问答更严格的证据获取测试。
EviRover 基于 Qwen3-VL-4B-Instruct,分两阶段训练,核心思路是让模型自己判断每个 query 缺的是哪类证据、然后选对应的动作去补。
先造数据。 两条管线对应两种证据缺失:
Query 构造有个关键步骤:直接写名字的 query 模型认得出就不用搜了,所以做迭代式实体替换,把名字换成间接描述(比如「某部电影的主演」),每替换一步就测试 Seed-1.8 不用工具还能不能解出,解不出为止,最多 20 跳。
SFT 数据用 Gemini-3.0-Pro 和 Seed-2.0-Pro 生成轨迹,只保留动作序列逻辑一致且答对的。这里有个容易踩的坑:标注模型自己认识的人物,它一步就答完了,4B 底座模仿这种「不查证据直接答」的轨迹等于学幻觉。所以这类轨迹被降采样,但保留一部分,让模型学到知识够时就直接答。
再训模型。 SFT 建立交互格式和基本工具调用,RL 用最终感知输出的正确性当奖励。工具集共十个:四个外部检索(文本搜索、文搜图、反向图搜、网页浏览)、三个细粒度视觉检查(裁剪放大、把候选框画回原图核对全局位置、裁出候选区域做最终确认)、三个任务预测(SAM3 出 mask、左右面板并排对比、Python 解释器)。
RL 的奖励按任务定制:grounding 用预测框与真值的 IoU,分割用 SAM3 生成的 mask 与真值 mask 的 IoU,计数用精确匹配,找茬用软集合级 F1。找茬的奖励设计值得展开:匹配阈值故意设为 0.1,低于评测用的 0.5,这样粗定位也能拿到部分分数,学习信号更密;同时每个匹配按 IoU 的 α 次方(α=2)加权,弱匹配贡献被压到很低,防止模型靠多吐粗框刷分。分割有个兜底:SAM3 失败时不给零奖励(零奖励在 group-relative 估计里不是中性值,会污染同组其他 rollout 的优势),改用预测框当矩形 mask 算 IoU。
跨任务 reward 分布差异大,用 EMA-GRPO 维护任务级奖励统计做归一。另外把策略损失的 reduction 从 token-mean 换成 sequence-mean-token-mean,附录给了完整推导:token-mean 等价于按轨迹长度做长度偏置采样,长轨迹被系统性放大,而在智能体 RL 里轨迹长度本身随策略变化,失败重试和冗余交互都会拉长轨迹,没理由让它们获得成比例更大的更新。
EviLens 是配套的人工校验 benchmark,688 个实例分五类:定位 140、识别 182、找茬 15(共 79 个标注差异)、分割 195、计数 156。开放智能体每条轨迹最多 35 次工具调用。
| 方法 | 任务 | 指标 | 结果 |
| Gemini-3.5-Flash | 定位 | IoU | 0.373 |
| EviRover(4B) | 定位 | IoU | 0.444 |
| Seed-2.1-Turbo | 分割 | gIoU | 0.779(全场最高) |
| EviRover | 分割 | gIoU | 0.686 |
| EviRover vs 底座 | 计数 | Acc | 50.0 vs 19.2 |
| EviRover vs 底座 | 找茬 | micro-F1 | 0.171 vs 0.005 |
| GPT-5.6-Sol | 找茬 | micro-F1 | 0.112 |
定位是 EviRover 对闭源模型优势最明显的一项,0.444 对 Gemini-3.5-Flash 的 0.373。计数距 GPT-5.6-Sol 只差 1.3 分。GPT-5.6-Sol 在找茬上表现反常地差,原因写得很有信息量:它坚持只输出一个框,即使 prompt 说明有多个差异。开放侧的 grounding 专项模型在定位上 IoU 接近零,分割专项模型 gIoU 最高 0.343,说明 EviLens 卡住模型的点不是感知精度,是获取缺失证据的能力,这正是现有感知 benchmark 不测的东西。
五个类别的主指标平均比底座高 30.2 分。迁移性也验证了:WebEyes 上 grounding IoU 40.0、[email protected] 48.5,超过包括闭源在内的所有已评测模型;分割比 Pixel-Searcher-8B 高 10.4 gIoU。常规感知 benchmark 上 ReasonSeg、RefCOCOg 每个分割每个指标都有提升。通用多模态侧 MMMU 到 MathVerse 涨 3 到 4 分,BrowseComp-VL 从 9.5 涨到 24.8,翻了一倍半以上。
这篇的贡献可以拆成三层,对从业者的价值各不相同。
概念上,「证据不足下的感知」这个提法把一类散落的失败案例(小目标、需要外部知识的 grounding、跨图对比)统一进了一个框架,并且指出感知输出比文字答案更难作假:框画没画对可以直接对着空间标注验证。这个 framing 后面大概率会被引用。
工程上,数据管线的几个设计可以直接搬:多跳实体替换直到强模型无工具解不出为止,这条终止条件比人工定跳数干净;标注模型「一步答完」轨迹的降采样,是所有蒸馏 agent 轨迹的工作都该注意的幻觉源;RL 奖励里阈值与加权解耦(低阈值给密信号,指数加权防刷分)也是可复用的模式。
结果上,4B 模型在自建 benchmark 上接近闭源旗舰,这个结论要打折看:EviLens 是作者自己构造的,分布和训练数据同源,WebEyes 和常规 benchmark 上的迁移数据因此更有说服力。BrowseComp-VL 上 15.3 分的绝对提升是全文最硬的数字,因为那个任务和感知训练分布相距最远。
作者自己披露的:定位标注当时只有 Gemini-3.0-Pro 一个模型能完成,标注质量绑定在单一闭源模型上;真人多参考图合成在三个以上身份时保真度崩坏,合成数据的身份覆盖因此受限;找茬只有 15 张图 79 个差异,这个子集太小,micro-F1 作为主指标也是因为样本量才选的。
读下来还有几处站不稳。EviLens 五个类别里找茬只有 15 例,类别间样本量差一个数量级,「平均超 30 分」这个数字被样本量大的类别主导。计数 query 要求图里每个人身份都被验证,这类图只能来自全 verified 的合影,分布很窄,50.0 的 Acc 外推性存疑。35 次工具调用的预算对 4B 模型意味着推理成本比一次前向高几个量级,论文没有讨论延迟和调用次数的权衡。最后,SFT 轨迹由 Gemini 和 Seed 系列生成、评测里这些系列又作为闭源基线出现,「追平闭源」的表述里训练数据已经含了闭源模型的能力,这一点论文没有展开。