专题 · FULL STORY

Bug Hunt Bench:实测前沿模型修 Bug

博主 Pawel Huryn 推出在真实开源仓库中检验模型修复 Bug 能力的 Bug Hunt Bench。首轮实测中 Anthropic 新模型刷新纪录,Opus 5.5 领先但成本高昂,引发对模型性价比的讨论。

2026-09-29 ~ 2026-09-30 · 2 集 · 8 条

第 1 集 · Anthropic 新模型刷新 Bug Hunt Bench 纪录(2026-09-29,3 条)

博主 Pawel Huryn 报告 Anthropic 新模型在 Bug Hunt Bench 上的表现刷新历史:Opus 5.5 (max) 完成 138–163 次模型调用,Sonnet 5.5 更是跑出 628 次调用、自检长达 111 分钟且超 800 轮仍不罢工,展现前所未有的持续执行行为。Huryn 随后更正数据,指出此前的轮数报告有误,Opus 5.5 与 Sonnet 5.5 之间的实际差距比原先描述的更为悬殊。

第 2 集 · Bug Hunt Bench:Sonnet 5.5 以 55.5 分领先但成本高企(2026-09-29,5 条)

Pawel Huryn(The Product Compass 作者)发布并持续更新 Bug Hunt Bench:在真实开源仓库中重植 2026 年初前沿模型未能发现的 105 个真实 bug,采用盲评、每仓库一次提示的方式考核各模型的查找与修复能力。首轮横评中 Sonnet 5.5(max)以 55.5 分大幅领先 GPT-6 Astra 等一众旗舰模型,但高分伴随高成本与高方差。

已确认

  • 首轮横评(满分按修复数量计):Sonnet 5.5(max)55.5 分,GPT-6 Astra 等旗舰均被大幅拉开差距
  • Sonnet 5.5 各 effort 档实测(平均 n=2):max 档 55.5 分、1330 轮、234.7 分钟、134.79 美元;xhigh 档 39 分
  • 基准新增「分数 vs 轮次」对数坐标视图,公开 Sonnet 5.5 各档数据
  • Sonnet 5.5(max)在两个仓库上的三轮自主 agent 长跑结果差异显著:Run 1 得分 57、1566 turns、258 分钟、154.05 美元;Run 2 得分 54;Run 3 单轮达 1833 turns、最长 6.5 小时、花费 192 美元

为什么重要

  • 该基准用真实仓库 bug 而非合成题目,更贴近实际工程中的排障场景
  • 结果显示「高分」伴随高成本与高方差:单次跑动辄上百美元、数小时,评估与选型时需权衡性价比与稳定性,而非只看分数