WebArena-Pro 发布:最强 agent 仅解出 62.3% 网页任务
hhsun1 · x · 2026-11-17
研究者发布 WebArena-Pro,目前规模最大、最具挑战性的浏览器 agent 基准:300 个任务覆盖 20 个自托管真实网站、6 大领域,并首次将音频和视频作为核心观察模态(共 4 种模态),支持可复现的并行评测。
- Claude Opus 5.5 与 GPT 6.1 无法解决其中 37% 的日常网页任务;最佳成绩为 Codex with GPT 6.1 Sol 与 Claude Code with Claude Opus 5.5,均为 62.3%。
- OpenCode with Kimi 3.1 Pro 以 60.7% 紧随其后;最强的 GenericAgent 配置(Gemini 3.1 Pro omni 与 Gemma4 31B)仅 30.3%。
- 论文由 McGill、Mila、ServiceNow 等机构合作完成,任务经标注界面编写、LLM 辅助筛选并人工验证。
所属事件:McGill 发布 WebArena-Pro:20 网站多模态基准,最强 Agent 仅过 62.3%(8 条相关)→
「编程与Agent」频道最新
- 沙箱启动再快也没用:离基础设施 200ms 才是致命伤 — DanielLockyer · 2026-11-17
- 开源项目 sessionpipe 发布:跨 harness 汇聚所有编码 agent 会话 — Scobleizer · 2026-11-17
- ChapterPal 全自动导入教材,年底将收录近 600 本 AI 可读教科书 — burkov · 2026-11-17
- Vercel CEO:你的下一个用户是 Agent,evals 将取代用户访谈 — pritisinghhhh · 2026-11-17
- Agent 助手 dots 测试集成 1Password,让 AI 替你安全登录办事 — pvncher · 2026-11-17
- Merge 为 Agent Handler 新增 19 个连接器,覆盖 Terraform 到 Stripe — shensi · 2026-11-17