20 个自托管网站加音视频任务,最强网页 agent 仅解出 62.3%

WebArena-Pro: A Heterogeneous, Multimodal, Reproducible Benchmark for Web Agents

Imene Kerboua, Fatemeh Pesaran Zadeh, Xing Han Lù, Weijian Qi, Alexander Miller, Junyi Song, Yunjia Tian, Dongjin Kang, Seyeon Choi, Marzia Nouri, Ewen Gueguen, Matteo Boglioni, Fengyuan Liu, Zeyi Liao, Mengqi Yuan, Yue Li, Alexandre Lacoste, Alexandre Drouin, Spandana Gella, Huan Sun, Gunhee Kim, Siva Reddy

NeurIPS 2026 E&D Track

cs.AI, cs.CL, cs.LG

2026-11-13

新基准 WebArena-Pro 用 20 个自托管网站、300 个人工验证任务评测网页 agent,音视频首次成为核心观察,最强配置仅完成 62.3%。

这篇在解决什么

网页 agent 的评测卡在两个缺口上。自托管基准(WebArena、VisualWebArena、WorkArena)可复现但覆盖窄:WebArena 只有 6 个网站,WorkArena 的 19,912 个任务实例全部来自 ServiceNow 一个平台,模态止步于文本和截图。live 基准上真实网站,覆盖广,页面和数据却随时间漂移,两次跑分不可比。网页里嵌的音频和视频,两边都没测。WebArena-Pro 把两个缺口一起补上:自托管覆盖拉到 20 个应用,音视频进入核心观察。

方法

20 个应用各跑一个 Docker 容器,按生产力、沟通、分析、企业运营、设计与媒体、旅行六个领域分组,每个复刻一个大众服务的交互模式:NextCloud 对应 Google Drive,Penpot 对应 Figma,YT-Lite 对应 YouTube。同组应用功能相近,REST API、权限模型、DOM 结构却各不相同,会操作 NextCloud 不保证会操作 MyDrive,考的是接口迁移而非单产品记忆。每跑完一个任务,容器状态重置回种子基线,任务互不污染,可并行复现评测。

300 个任务每个独立成模板,不重复 WebArena 用 241 个模板实例化 812 个任务的老路。按两个维度切分:204 个单站点、96 个跨站点;221 个纯文本/视觉、79 个依赖音频或视频。

音视频接入是区别于前作的设计。媒体源以节点形式出现在 accessibility tree 里,agent 判断需要时调 transcribe() 拿本地 Whisper 的转写文本,或调 extractframes() 抽指定数量的视频帧;转写并回无障碍树、帧作为图片随观察返回,时序媒体就此进入普通 agent 既有的观察结构。omni 模型另有 listen() 和 watch(),音视频段直接喂给模型。

判分用 rubric 验证器:每个任务配一组人工评分点,分 action(必要步骤)和 outcome(最终状态或答案)两类,组成 DAG,上游失败下游即失败。三级判分依次是确定性检查(查后端数据库)、启发式(匹配 URL 与动作序列)、LLM judge(Qwen 3.6 27B)终审。出题走「标注界面写题、LLM 分诊踢掉一遍就解出的简单题、人工终审」的流水线。

结果

50 步动作预算下的总成功率:

Agent 配置总成功率
Codex + GPT 6.1 Sol62.3%
Claude Code + Claude Opus 5.562.3%
OpenCode + Kimi 3.1 Pro60.7%
OpenCode + Qwen 3.8 Max Prime55.7%
GenericAgent + Gemma4 31B30.3%
GenericAgent + Gemini 3.1 Pro omni30.3%
GenericAgent + Qwen 3.5 9B5.0%

分域看,沟通类最好做,Codex 做到 81.8%;旅行最难,最好成绩 57.7%。跨站点任务全面更难:Codex 从 67.2% 掉到 52.1%;Claude Code 从 65.7% 到 55.2%,是五个编码 agent 配置里差距最小的(10.5 个百分点);Gemma4 31B 掉得最狠,38.2% 到 13.5%。

模态拆分出了反直觉的结果:GenericAgent 各配置在音视频任务上普遍比文本/视觉任务得分高,论文将其部分归因于 transcribe() 和 extractframes() 把时序媒体转成了模型顺手的语言与图像输入。编码 agent 正相反,Codex 与 Claude Code 音视频都是 57.0%,低于文本/视觉的 64.3%。

媒体工具消融聚焦 AcidWave 和 YT-Lite 上 43 个不看内容就做不了的题:去掉工具,Gemini 3.1 Pro 和 Qwen 3.6 27B 的音频任务归零,Opus 5.5 剩 14.0%,给回工具升到 48.8%。整轮 300 任务的 API 成本在 166 美元(Codex)到约 800 美元(GenericAgent 配 Opus 4.7)之间,LLM judge 每轮不到 4 美元。

为什么重要

这是自托管基准里应用覆盖最广、模态最全的一套,容器隔离支持并行复现。rubric 验证器天然输出逐任务奖励,论文明说这套环境可直接改造成 RL 或拒绝采样的训练场,也适合 UI 漂移、提示注入这类鲁棒性实验。

选型上有两个直接可用的信号。跨应用协调仍是硬短板,快及格的 agent 一跨站普遍掉十几个点,评估工作流自动化方案时要按跨站场景打折。模型与外壳也不可分:Gemini 3.1 Pro 在 OpenCode 下 48.0%,omni 版在 GenericAgent 下 30.3%,不过论文自己提醒,这种差距里混着 harness 与工具配置的变量。

局限与存疑

作者自认两条:动作空间只覆盖预录音频段和离散视频帧,语音对话与直播流没做;横向对比混杂了模型、harness、工具配置三重变量,50 步预算没有拉平 token 消耗、观测频率和延迟,成本也随定价与缓存浮动,所以 62.3% 对 60.7% 读不出模型高下。

读下来再补两处。300 个任务分域后很薄,分析域只有 16 题,一题就是 6.25 个百分点,分域数字的噪声不会小。LLM judge 是后端无法验证的评分点的最终裁决者,附录给了它与人工标注的一致性对比,但误判对总成功率的污染幅度没有量化。

术语

原文与代码

社区讨论

相关论文

全部论文解读