Bug Hunt Bench 实测：GPT-6 Astra 修 48/105 登顶
TL;DR：Pawel Huryn 上线的 Bug Hunt Bench（bughunt.productcompass.pm）在两个真实代码仓库预埋 105 个隐藏 bug，以盲评、每仓库仅一次提示的方式横测前沿编码模型。首轮无模型全部命中，Fable 5.1 (max) 以 43/105（$77.55）领先；两日后 GPT-6 Astra 以 48/105 登顶，且据作者称速度是 GPT-5.6 Sol 的 2 倍、更便宜。作者还发现 GPT-6 Astra 的盲点与其他模型完全不同，并据此改用混合路由策略。
已确认
- 测试环境为 Antigravity CLI，两个真实仓库、每仓库单 prompt、盲评
- Fable 5.1 (max)：43/105，花费 $77.55
- GPT-5.6 (max，帖子中亦称 GPT-5.6 Sol)：42/105，花费约 $69
- Gemini 3.8 Flash (high)：20/105，花费 $9.78，较此前版本进步明显
- GPT-6 Astra：48/105，居首，作者称其速度是 GPT-5.6 Sol 的 2 倍，且比 GPT-5.6 Sol 和 Fable 5.1 更便宜
- 榜单还收录了 GLM、DeepSeek 等模型，据 PawelHuryn 回复网友称只是未全部导出截图
- GPT-6 Astra 的盲点与其他模型完全不同，作者因此调整工作方式，改用混合路由策略（如用 Astra 写码、Fable 审查）
- 该基准的题库来源之一是 2026 年初前沿模型起初漏掉的真实漏洞，答案不公开以保证基准有效性；口径上不计入未预埋的 bug（unplanted bugs）
- 作者观察到前沿模型存在「刷 bug」式行为：2026 年初真实漏洞仍被集体漏掉
尚未确认
- 作者复盘了一次基准排查经历：在 Antigravity CLI 推出前，他用 Gemini CLI 指定 3.7 Flash 跑测试，启动信息也显示 3.7，但实际每个 API 调用都静默发往 gemini-3.5-flash，原因是配置问题（帖文截断处提及）。这提示类似 CLI 基准测试可能存在静默降级风险，早期相关测试结果是否受此影响尚无明确说明
为什么重要
- 该基准用真实仓库和预埋 bug 衡量模型的实际排障能力，比合成题更贴近工程实践
- 头部模型绝对成绩接近但成本差距明显：Fable 与 GPT-5.6 仅差 1 个 bug，花费在 $69$78；Gemini 3.8 Flash 绝对数量低但单价成本优势显著，成本差近 8 倍，为预算敏感场景提供参考
- GPT-6 Astra 盲点与其他模型不同的发现，直接催生了作者的混合路由实践，提示多模型组合可能互补提升排障覆盖
- 「2026 年初真实漏洞仍被集体漏掉」说明即便头部模型，对真实工程缺陷的覆盖仍有系统性盲区
- Gemini CLI 静默降级案例提醒：跑模型基准前应核验实际调用的模型版本，否则结论可能失真
- pakupdates85 等第三方转述进一步扩散了该结果，成本对比成为讨论焦点
2026-09-03 ~ 2026-09-05 · 11 条相关
一手来源
- 105 个真实 bug 实测：GPT Astra 修 48 个夺冠且更快更便宜 — PawelHuryn ·
- Bug Hunt Bench 新数据：GPT-6 Astra 盲区与众不同，作者改用混合路由策略 — PawelHuryn ·
- Bug Hunt Bench 上线：105 个真实仓库埋Bug测前沿编码模型 — PawelHuryn ·
- 105 个真实 bug 实测:Gemini 3.8 Flash 花 $9.78 修 20 个,进步明显 — PawelHuryn · 2026-09-03
- 105 个隐藏 bug 实测:Fable 5.1 找出 43 个,无一模型全中 — PawelHuryn · 2026-09-03
- Bug Hunt Bench 横评:105 个真实 bug,Gemini 3.8 Flash 升至 20/105 — PawelHuryn · 2026-09-03
- 105个埋Bug实测：Fable 5.1修43个花77美元，成本差近8倍 — pakupdates85 · 2026-09-03
- 【源头】Bug Hunt Bench 上线：105 个真实仓库埋Bug测前沿编码模型 — PawelHuryn · 2026-09-03
- Gemini CLI 被曝静默降级模型：请求名非实际调用 — PawelHuryn · 2026-09-04
- 实测 GPT-6 Astra 修 Bug：105 个真实漏洞修对 48 个居首 — PawelHuryn · 2026-09-05
- 【源头】105 个真实 bug 实测：GPT Astra 修 48 个夺冠且更快更便宜 — PawelHuryn · 2026-09-05
- GPT-6 Astra 盲区独特，开发者改用 Astra 写码、Fable 审查 — PawelHuryn · 2026-09-05
- 【源头】Bug Hunt Bench 新数据：GPT-6 Astra 盲区与众不同，作者改用混合路由策略 — PawelHuryn · 2026-09-05
- 前沿模型实测暴露「刷 bug」行为:2026 年初真实漏洞仍被集体漏掉 — PawelHuryn · 2026-09-05