Agent Arena 更新:Opus 5.5 登顶,新 Bash Reliability 指标上线
10 月 13-14 日,Arena(LMSYS 系)发布 Agent Arena 排行榜更新:Claude Opus 5.5 (Max) 登顶总榜,前 14 名全部为闭源模型;同时将 Bash Recovery 指标升级为 Bash Reliability,并披露开源模型仅用约 3 个月追平 7 月榜首且成本低 89-96%,值得关注。
已确认
- 榜单基于 238 万+ 会话、53 个模型的数据,采用「Confirmed Success」标准,即由用户确认任务是否真正完成,以衡量 agent 的实际可靠性(m2、m5)
- 总榜前五依次为 Claude Opus 5.5 (Max)、GPT-6.1 Sol (Max)、Claude Fable 5.1 等;据 @testingcatalog,Gemini 4 Argon 升至第五。净提升数字存在口径差异:@arena 的榜单详解称 Claude Opus 5.5 净提升 15.53%、GPT 6 Astra (Max) 13.09%;@testingcatalog 转述为 Opus 5.5 +16.8%、GPT-6.1 Sol +15.3%
- 评测维度方面,据 @arena 的分析帖,Claude Opus 5.5 净提升居首,Gemini 4 在工具幻觉上表现最低
- Bash Recovery 升级为 Bash Reliability:新方法逐条读取每次 bash 调用的目的、结果与错误原因,以及错误是否在本次调用内被修复,只计入 agent 自身造成的失败,从而更精准衡量工具使用可靠性(m4、m6)
- 开源追赶:Arena 指出 7 月 1 日榜首 Claude Fable 5 领先所有模型,但仅 12 周(约 3 个月)后开源模型已追平其水平,且成本低 89-96%(m2)
为什么重要
- Confirmed Success 与 Bash Reliability 都从「任务是否真正完成」「错误是否由 agent 自身造成」出发,比单纯胜率更贴近 agent 的真实可用性
- 开源模型以极低成本快速追平闭源旗舰,若趋势持续,将显著改变 agent 领域的成本格局与模型选型逻辑
2026-10-13 ~ 2026-10-14 · 6 条相关
一手来源
- 【源头】Agent Arena:开源模型3个月追平 Claude Fable 5,成本低89-96% — arena · 2026-10-13
- Agent Arena 榜单详解:Opus 5.5 净提升居首,Gemini 4 工具幻觉最低 — arena · 2026-10-13
- 【源头】Agent Arena 新榜:Claude Opus 5.5 登顶,前14名全是闭源模型 — arena · 2026-10-14
- 【源头】Agent Arena 推出 Bash Reliability:只罚 agent 自己犯的命令行错误 — arena · 2026-10-14
- Agent Arena 榜单更新:Bash 可靠性新指标,Opus 5.5 居首 — arena · 2026-10-14
- Agent Arena 榜单:Gemini 4 Argon 升至第五,Opus 5.5 居首 — testingcatalog · 2026-10-14