Bug Hunt Bench:Sonnet 5.5 以 55.5 分领先但成本高企
Pawel Huryn(The Product Compass 作者)发布并持续更新 Bug Hunt Bench:在真实开源仓库中重植 2026 年初前沿模型未能发现的 105 个真实 bug,采用盲评、每仓库一次提示的方式考核各模型的查找与修复能力。首轮横评中 Sonnet 5.5(max)以 55.5 分大幅领先 GPT-6 Astra 等一众旗舰模型,但高分伴随高成本与高方差。
已确认
- 首轮横评(满分按修复数量计):Sonnet 5.5(max)55.5 分,GPT-6 Astra 等旗舰均被大幅拉开差距
- Sonnet 5.5 各 effort 档实测(平均 n=2):max 档 55.5 分、1330 轮、234.7 分钟、134.79 美元;xhigh 档 39 分
- 基准新增「分数 vs 轮次」对数坐标视图,公开 Sonnet 5.5 各档数据
- Sonnet 5.5(max)在两个仓库上的三轮自主 agent 长跑结果差异显著:Run 1 得分 57、1566 turns、258 分钟、154.05 美元;Run 2 得分 54;Run 3 单轮达 1833 turns、最长 6.5 小时、花费 192 美元
为什么重要
- 该基准用真实仓库 bug 而非合成题目,更贴近实际工程中的排障场景
- 结果显示「高分」伴随高成本与高方差:单次跑动辄上百美元、数小时,评估与选型时需权衡性价比与稳定性,而非只看分数
2026-09-29 ~ 2026-09-30 · 5 条相关
- 第 1 集:Anthropic 新模型刷新 Bug Hunt Bench 纪录(2026-09-29,3 条)
- 第 2 集:Bug Hunt Bench:Sonnet 5.5 以 55.5 分领先但成本高企(2026-09-29,5 条)
一手来源
- Bug Hunt Bench:105 个真实代码 Bug 横评前沿模型 — PawelHuryn ·
- Sonnet 5.5(max) 三轮长跑:单轮 1833 turns、最长 6.5 小时、花费 $192 — PawelHuryn ·
- 105 个真实 Bug 实测:Sonnet 5.5 以 55.5 分大幅领先一众旗舰 — PawelHuryn ·
- 【源头】105 个真实 Bug 实测:Sonnet 5.5 以 55.5 分大幅领先一众旗舰 — PawelHuryn · 2026-09-29
- 【源头】Bug Hunt Bench:105 个真实代码 Bug 横评前沿模型 — PawelHuryn · 2026-09-29
- Sonnet 5.5 不同 effort 档实测:max 分 55.5 但单次最高花 134.79 美元 — PawelHuryn · 2026-09-29
- Bug Hunt Bench 实测:Sonnet 5.5 max 档分数 55.5、单次跑 134 美元 — PawelHuryn · 2026-09-29
- 【源头】Sonnet 5.5(max) 三轮长跑:单轮 1833 turns、最长 6.5 小时、花费 $192 — PawelHuryn · 2026-09-30