AgentVQA: A Unified Benchmark for Agentic Visual Understanding
Advait Gupta, Sachin Konan, Tom Yin, Gabriel Sarch, Zhuang Liu
cs.CV
2026-10-23
从23个数据集手筛1000道四选一,覆盖网页、机器人、第一人称、游戏和空间规划五个域。22个VLM里最高58.5%,错主要出在看清当前视觉状态。
VLM 进了网页导航、机器人和游戏。在线评测让模型在模拟器或真实环境里连续行动,但环境难配、难复现,也跑不起很多模型。MMMU、MMBench、GPQA 测的是知识和看图,题目不像 agent 正在做的那一步。传统高分也预测不了 agent 成功率。GPT-4o 在老基准上很强,多轮客服任务的成功率不到 50%。
分领域基准覆盖窄,答案格式不统一,有的题做饱和了,有的标注噪声大。网页点击和三维推理不在一把尺子上。AgentVQA 把五个域收成一套离线题,画面仍取自真实交互。
1000 道四选一,五域各 200 道,来自 23 个数据集,每个来源 40 或 50 道。五域分别是网页界面上的点击和导航,第一人称视频里拉长的观察和规划,机器人场景的感知和动作,游戏局面上的判断,以及三维空间关系和路径。坐标、动作、空间关系、下一步状态,统一收成选择题,原题问什么尽量保留。
出题五步。候选先保留原标注。不是选择题的,Gemini 2.5 Pro 按画面、题干、正确答案和动作历史写三个干扰项,有的只差一个细节,有的是说得通但错误的物体、动作或位置。Gemini 与 Claude 再标出含糊、多解和坏选项,大约删掉 45%。其后人工仍丢掉约 60%,理由是细微歧义、标注错误或太容易,能改的就改。最后再核一遍,保证只有一个正确答案。全程大约留下 22%。
剪刀框把背景圈进去,点空仍算对。删 Lyft 账号时两条路都成立。这类题被删或改写。自动检查放过的接地歧义,靠这一步人来收。
22 个开源和闭源 VLM 参加评测。不吃视频的均匀抽 32 帧,正文没给消融数字。推理模型温度 0.8,其余 0.2,GPT 用默认值。只输出字母。坐标按模型习惯排版,Gemini 用 [0, 1000] 的 (y, x),Qwen 用像素坐标。画面保持原分辨率。
四选一,乱猜大约 25%。22 个模型里最高的是 Gemini 3.7 Flash,58.5%。Gemini 3.1 Pro 55.7%,GPT-5.6-sol thinking-high 和 Qwen3.7 Flash 都是 55.0%。Llama 4 Maverick 28.0%,GPT-4o 31.4%,离乱猜不远。
| 模型 | 总准确率 | Web | 第一人称 | 游戏 | 空间规划 | 机器人 |
| Gemini 3.7 Flash | 58.5 | 40.5 | 67.0 | 70.0 | 62.5 | 52.5 |
| Gemini 3.1 Pro | 55.7 | 34.5 | 64.0 | 68.0 | 61.0 | 51.0 |
| GPT-5.6-sol think-high | 55.0 | 47.0 | 69.0 | 62.5 | 51.0 | 45.5 |
| Qwen3.7 Flash | 55.0 | 43.0 | 72.5 | 61.0 | 55.0 | 43.5 |
| Qwen3.8 27B | 50.9 | 30.0 | 69.0 | 61.5 | 51.5 | 42.5 |
| Claude Opus 4.8 | 44.0 | 35.5 | 60.0 | 50.5 | 41.0 | 33.0 |
| GPT-5.6-sol think-none | 38.2 | 16.0 | 59.0 | 44.5 | 41.0 | 30.5 |
| GPT-4o | 31.4 | 21.5 | 40.0 | 29.0 | 35.0 | 31.5 |
| Llama 4 Maverick | 28.0 | 18.5 | 49.0 | 23.0 | 30.0 | 19.5 |
论文给出的各域水平是第一人称 59%、游戏 51.5%、空间规划 46%、机器人 38%、网页 29%。网页最难,超过 40% 的只有三个模型。游戏拉开最大,从 23% 到 70%。
没有统一冠军。Gemini 3.7 Flash 领先游戏 70%、空间规划 62.5%、机器人 52.5%,网页却只有 40.5%,低于 GPT-5.6-sol thinking-high 的 47%。第一人称最高是 Qwen3.7 Flash 的 72.5%。
论文把 Qwen3.7 系列划进闭源。开源最高的 Qwen3.8 27B 为 50.9%,比 Gemini 3.7 Flash 低 7.6 个百分点。Kimi K3 的 48.3% 和 Qwen3.5 35B 的 47.9% 仍高于 Claude Opus 4.8 的 44.0% 和 Sonnet 5 的 43.4%,也高于关掉思考的 GPT-5.6-sol 的 38.2%。
加长思考不是普遍加分。GPT-5.6-sol 从 38.2% 到 55.0%,多 16.8 个百分点。GLM-4.1V-9B 开思考 35.4%,不开 36.3%。论文把变差记到思考循环。
动作历史对网页轨迹题有稳定帮助。Gemini 3.1 Pro、GPT-4o、Qwen3.5 27B、Kimi K3、Claude Sonnet 5 这五个模型,去掉历史后 AitW 平均降 9.5%,MONDAY 平均降 10%。
名次和通用基准对不齐。统一提示重跑的子集上,MMMU-Pro 250 题 Spearman ρ = 0.67,GPQA-Diamond 150 题 ρ = 0.59,ChartQA-Pro 250 题 ρ = 0.44。对上 GPQA-Diamond 时,没有模型保住原来的相对名次。和在线基准 SpatialWorld 只在对口域上齐:12 个重叠模型里,空间规划对物理轨道 ρ = 0.895,p = 8×10^-5。别的域更弱。
错题只解剖了 Gemini 3.1 Pro。人工定类别后由 Gemini 归类,人复核 100 条,占比按该域错题计算。网页错题 78% 没点对界面元素。游戏 71% 是局面读错。机器人 65% 空间关系乱,空间规划 62% 视角不对。第一人称里运动看错 39%、感知缺口 29%、空间混乱 15%。听错任务,或推理和答案打架,各域都很少。
挑 VLM 做 agent 时,MMMU 和 GPQA 的名次帮不上忙,秩相关只有 0.44 到 0.67。空间规划对在线评测的 ρ = 0.895。上真环境之前,可以先用它把模型分开,省掉搭模拟器。
失败多半发生在看画面,不在听任务。控件、运动、状态变化和三维遮挡才是大头。思考和动作历史都有用,也都不够。GPT-5.6-sol 靠思考多了 16.8 分,GLM-4.1V 开思考反而更低。动作历史在 AitW 和 MONDAY 上分别拉回 9.5% 和 10%。58.5% 上面仍是大段空白。
平均分会把域间差异抹平。游戏 70% 和网页 40% 左右可以出现在同一批模型上。开源离闭源冠军 7.6 分,跟进要看具体域。
没有新模型。五个域终于用同一套难负例选择题来比,对口域的名次也跟得上在线评测。代码和数据已公开。
在线评测仍是金标准。离线错题和交互失败是不是同一件事,选择题涨分能不能带到在线,论文都没测。与 SpatialWorld 的 ρ = 0.895 只覆盖空间规划对物理轨道,换域就弱。思考和动作历史也没填平缺口。
错因统计只有 Gemini 3.1 Pro,归类还用了 Gemini,人只复核 100 条,比例不能外推到 GPT 或 Qwen。干扰项由 Gemini 2.5 Pro 生成,难负例可能偏向这一路模型。
四选一比真实出动作宽松。模型只负责挑选项,部署时却要自己写出坐标或动作。选项数值还按 Gemini 的 (y, x) 和 Qwen 的像素分别改写。多条路都成立的题被删掉,测量更干净,也更离开真实分支。候选只留约 22%,容易题被人为拿掉。主表没有多种子和置信区间。推理温度 0.8,中游名次可能随单次运行晃动。32 帧消融的数字不在正文里。