McGill-NLP 发布 WebArena-Pro:20 个应用 300 任务的多模态 Web Agent 基准
McGill-NLP · hf · 2026-11-16
WebArena-Pro 是一个异构、多模态、可复现的 Web Agent 基准,包含 20 个自托管 Web 应用中的 300 个任务,覆盖六大领域,并首次把音频/视频作为核心观测模态(配有专门的信息提取动作)。
- 动机:现有可复现基准覆盖站点少、仅限文本+视觉;live 基准覆盖广但不可复现;均未认真评估音频/视频理解。
- 构建流程:专用标注界面编写任务 → LLM 辅助分流 → 人工验证后发布;每个任务隔离运行,支持并行可复现评测。
- 结果:Codex+GPT 6.1 Sol 与 Claude Code+Claude Opus 5.5 以 62.3% 并列最佳,OpenCode+Kimi 3.1 Pro 为 60.7%,最强 GenericAgent 配置(Gemini 3.1 Pro omni 与 Gemma4 31B)仅 30.3%。
论文由 McGill、Mila、ServiceNow 等多机构合作完成,项目页与代码已开源。
「编程与Agent」频道最新
- 1000 个 Agent 写 60 万行 Python:无权重聊天机器人打平 SmolLM — lvwerra · 2026-11-16
- WebArena-Pro 发布:300 任务 20 应用多模态 Web Agent 基准 — xhluca · 2026-11-16
- 本周自改进 agent 论文扎堆:多数涨的是刷榜能力而非真实任务 — TheTuringPost · 2026-11-16
- 1000 个 agent 协作一周写出 63 万行 Python 聊天机器人,零参数零训练 — _lewtun · 2026-11-16
- 11 个 AI agent + 1 个人:单人内容公司月入 3 万美元的完整打法 — VibeMarketer_ · 2026-11-16
- Hugging Face 发布 3D 生成模型 TRELLIS.2 微调完全指南 — ariG23498 · 2026-11-16