Sonnet 5.5 不同 effort 档实测:max 分 55.5 但单次最高花 134.79 美元
PawelHuryn · x · 2026-09-29
Pawel Huryn 在自建的真实仓库 bug 修复基准上测试了 Sonnet 5.5 的各 effort 档位(平均 n=2):
- max:55.5 分,1330 轮,234.7 分钟,$134.79
- xhigh:39 分,588 轮,122.4 分钟,$60.30
- high:32 分,294 轮,24.5 分钟,$16.73
- medium:18 分,112 轮,11.9 分钟,$8.39
- low:20 分,119 轮,7.4 分钟,$5.75
对比 Sonnet 5(max):9 分、411 轮、61.3 分钟、$17.96。
结论:5.5 是个「极其有干劲」的模型,单轮快且便宜,但需要时会跑远多于前代的轮次——分数随 effort 档大幅波动,max 档成本可达 low 档的 25 倍以上。评测方法:真实仓库重植入前沿模型曾漏掉的真实 bug,由异家族盲校准裁判打分,只计真正修复,答案密钥保密以保证基准有效。
所属事件:Bug Hunt Bench:Sonnet 5.5 以 55.5 分领先但成本高企(5 条相关)→
「编程与Agent」频道最新
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- skills-gate:一个门面 skill 管住所有 agent skills,148 个技能仅耗 389 token — Distinct-Pie2389 · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16
- AI 模型一言不合删掉 4.3 万行测试代码,diff +90/-43,599 — vincent_koc · 2026-11-16