CMU×Browser Use 发布 Odysseys2:最难长程 Web Agent 基准,SOTA 仅完成 47/100
dan_fried · x · 2026-10-28
Browser Use 与卡内基梅隆大学(Lawrence Jang、Ruslan Salakhutdinov 等)合作推出 Odysseys2,号称是最难的长程 web agent 基准:100 个来自真实用户请求的任务,在真实互联网上运行,每任务 8-12 条真实评分标准(rubric),限时 60 分钟。
核心结果:
- SOTA agent(GPT-6 Astra)只能完整完成 47/100 个任务;另有 5 个 agent 一个都完不成。
- 共对比 15 个 agent、3 种 browser-agent harness,并测量真实网络上的多次尝试方差。
- 使用 LLM judge 评估:输入 agent 产出的文件、动作历史与截图,并对判定为 reward hacking 的尝试给零分。
与 2026 年 4 月发布的初代 Odysseys(200 个基于浏览历史的任务)不同,Odysseys2 的任务基于 Browser Use 提供的真实用户请求分布构建。基准的 100 个任务(含完整说明与 rubric)已开放下载,共含 982 项 rubric 检查。团队结论:web agent 在知识工作上正变得比人类更强。
「编程与Agent」频道最新
- 开源语音转写清理模型：1.2B 微调后本地 0.18 秒追平云端 — stephan273 · 2026-10-28
- 预测 agent 评估 P vs NP 市场：Kalshi 32% 被判高估，稳态应为 No — rohanpaul_ai · 2026-10-28
- 两个 AI 面试官与候选人 Agent 互道再见卡死:Agent 缺停止条件的教训 — aakashgupta · 2026-10-28
- X 用户：AI 没带来生产力提升,是因为你给的权限太保守 — heyneighbor · 2026-10-28
- 声明式 API 真能让 LLM 写出更好代码？作者分享实测观察求同行验证 — GianniMariani · 2026-10-28
- 独立开发者 vibe coding 出 ComfyUI 全能前端 Try2Create，考虑开源 — ItsBalanse · 2026-10-28