Agent 基准实测：最快的两个模型 12 项任务全部完不成
ML_Felix · reddit · 2026-10-15
Concourse Bench v1（作者就职于发布方）在模拟媒体采买的 Agent 基准上发现：速度与任务完成度可能完全负相关。Agent 拿到 brief 和预算后要与三家固定规则的卖方谈判并达成一组满足要求的交易，买家 harness 逐动作校验，测的是「模型+harness」整体。
公开数据（平均每单耗时 / 12 单完成数）：
- Haiku：0.38 分钟，0/12
- Luna：1.01 分钟，0/12
- Sol：3.63 分钟，12/12
- Fable：8.89 分钟，12/12
- Sonnet：13.26 分钟，9/12
最快的两个模型「快」是因为提前放弃了任务；但最慢的也不是最优——Sol 以不到 4 分钟的平均耗时全量完成。作者抛出的问题：评估 Agent 到底该看速度、完成率，还是每个完成任务的成本？
「编程与Agent」频道最新
- Decisions API 正式 GA,agent 反馈循环全自动剪辑云视频 — dkundel · 2026-10-23
- 50+ 免费 AI Agent 学习资源合集：视频与仓库一站打包 — ifioknkem · 2026-10-23
- 自封「全网最佳」的免费 AI Agent 资源库引围观 — ifioknkem · 2026-10-23
- Vercel 推出免注册部署：拖拽文件到首页即得线上 URL — steren · 2026-10-23
- 5 个 Claude Code 会话经 MCP 互发邮件，组队攻破多品牌网络摄像头 — doodlestein · 2026-10-23
- Vercel 上线 vercel deploy --temporary,可临时部署后自动清理 — cramforce · 2026-10-23