ClawBench 在 144 个真实网站测 Agent:最强模型成功率仅 33%
jiqizhixin · x · 2026-09-11
MMLU-Pro 作者联合 TIGER Lab(滑铁卢)、UBC NAIL Group、UniPat AI 与 CMU 发布 ClawBench,一个在真实生产网站上测试 AI agent 的新基准。
与现有基准的区别:WebArena 用沙盒里的假静态网站,OSWorld 只覆盖少数 VM 应用,前沿模型能拿 65–75% 的高分显得「接近可用」。ClawBench 则使用 144 个真实生产网站、153 个日常在线任务(订机票、报销、提交求职申请等),无沙盒、无静态页面,agent 要像人一样应对登录认证、动态内容、弹窗和真实 UI 复杂度。
主要结果:
- 最强的 Claude Sonnet 4.6 成功率仅 33%,相当于每三个任务失败两个
- GPT-5.4 只完成 153 个任务中的 10 个(6.5%)
- 44.4%(68/153)的任务没有任何模型能解决
结论:沙盒基准上的高分严重高估了 web agent 在真实网站上的能力,离实际部署仍有很大差距。
「编程与Agent」频道最新
- 零基础学员经 AI 辅导也能跑通完整 CI/CD 流水线 — curious_vii · 2026-10-26
- Ruff 作者感叹:前沿模型能在任何软件里找到无穷多 bug — charliermarsh · 2026-10-26
- 开发者实测同一 skill 跨 Opus 5.5 与 Sol 6.1:指令遵循表现参差 — lucasmeijer · 2026-10-26
- 用小开源模型逆向工程游戏二进制:主 agent 中途重写子 agent 的 harness — yb2698 · 2026-10-26
- ContractSim：首个评估 LLM 自然语言合同谈判的框架 — xuanalogue · 2026-10-26
- Hugging Face 线下研讨会：微软、Mercor 等四方实战分享 Agent 后训练方法 — Hugging Face · 2026-10-26