CMU 联合 Browser Use 发布 Odysseys2:最强智能体仅完成 47/100
wellecks · x · 2026-10-28
卡内基梅隆大学(JangLawrenceK、rsalakhu 团队)与 Browser Use 合作推出 Odysseys2,一个比原版 Odyssey 更难、更长时程的网络导航基准:
- 100 个真实任务:全部来自 Browser Use 真实用户请求,代表用户真正想让 CUA/网页智能体做的事,而非人造任务
- 高难度长时程:每个任务附 8-12 条真实评分 rubric,需在真实网页上运行约 60 分钟
- 表现:SOTA 模型 GPT-6 Astra 完美完成率仅 47%,5 个智能体一个任务都完不成;配图 15 个智能体得分从 2 到 85 不等,GPT-5.6 Luna 以极低成本拿到 59.7 分,距 Sol/Fable 5 仅约 2 分
- 新评测器:同时发布了更强的自动 judge,专为超长时程评测设计
团队称网页智能体在知识工作上正变得比人类更强,但 47% 的上限说明改进空间巨大。
所属事件:CMU与Browser Use发布Odysseys2：最强Web Agent百题仅过47(3 条相关)→
「编程与Agent」频道最新
- Agent把算力需求推回CPU：2030年服务器CPU市场或达2210亿美元 — BenBajarin · 2026-10-29
- Cursor 砍掉最常用的 Cmd+K 命令，教授级用户直呼失望 — jbhuang0604 · 2026-10-29
- 开发者把 Claude Skill 当 App 设计:双用户思维与迭代复盘 — round · 2026-10-29
- 一条 Prompt 一句话生成可漫游 3D 星舰,AI Agent 在舱内 24 小时干活 — InternationalGap3698 · 2026-10-29
- 博主提议:编码工具该加 GitHub 式活动墙炫耀 AI 用量 — gethackteam · 2026-10-29
- 开源 mcp-coatcheck:一行命令给任意 MCP 服务器补上 Tasks 长任务支持 — Awacer · 2026-10-29