Bug Hunt Bench 实测：GPT-6 Astra 拿 45 分，Grok 4.7 仅 28.7

PawelHuryn · x · 2026-09-22

Pawel Huryn（The Product Compass 作者）在两个真实代码仓库中植入 105 个 bug，测试各前沿模型“找并修复”的能力，并上线了独立评测站 Bug Hunt Bench（bughunt.productcompass.pm）。三轮平均成绩：GPT-6 Astra (max) 45 分，Muse Spark 1.3 (max) 32.2，Grok 4.7 (xhigh) 与 Grok 4.6 (xhigh) 均为 28.7（作者强调非笔误），Opus 5 (max) 27，Qwen3.8-Max 25.7。作者直言“这不是我们一直在等的那个模型”。评测站为盲评、每仓库单提示词，支持按分数/成本/耗时排序，成本轴为对数（各模型成本相差约两百倍），每个 run 的完整注意事项发布在 GitHub。