Bug Hunt Bench 实测:105 个真实代码缺陷,GPT-6 Astra 拿下 45 个居首

PawelHuryn · x · 2026-09-23

Pawel Huryn 用两个真实仓库植入 105 个 bug,对前沿编码模型做了盲评基准测试,并由跨厂商模型家族的评委对照私密答案打分。结果:GPT-6 Astra (max) 修复 45 个、花费 $33.03(n=3);Fable 5.1 (max) 43 个、$77.55;Opus 5.5 (max) 43 个、$60.49;Opus 5.0 (max) 仅 27 个;Muse Spark 1.3 (max) 32.2 个但只要 $18.11。作者强调这些是 2026 年初前沿模型都没能解出的难题,未计分 OpenAI 报告的无关/理论性问题;成本差距约两百倍,完整榜单在 Bug Hunt Bench 网站实时更新。结论:Anthropic 重回第一梯队,且各家性价比差异巨大。