Bug Hunt Bench 发布：105 个真实 bug 横评前沿编码模型，成本差 200 倍
Pawel Huryn（The Product Compass 作者）发布 Bug Hunt Bench 编码模型实测排行榜：在两个真实代码仓库中植入 105 个 bug，对前沿编码模型进行盲评，每个仓库仅用一个 prompt，统计各模型修 bug 的成绩与成本，不同模型间成本差距达 200 倍。完整排行榜页面已公开。Huryn 还回应网友称，其自研的 code-review skill 能显著提升模型在该基准上的成绩。
2026-09-24 ~ 2026-09-24 · 3 条相关
- 第 1 集:OpenAI 发布 GPT-6 Sol 与 Luna：价格减半、幻觉大降，但非全面超越前代(2026-09-23,92 条)
- 第 2 集:GPT-6 Sol/Luna 上线口碑分化：降价换质量引争议(2026-09-23,9 条)
- 第 3 集:LMArena 上线 GPT-6 Sol/Luna 实测投票(2026-09-23,2 条)
- 第 4 集:四款新模型一周改写性价比前沿，Opus 5.5 登顶(2026-09-23,2 条)
- 第 5 集:OpenAI 与 Anthropic 同日降价，掀新一轮模型价格战(2026-09-23,7 条)
- 第 6 集:实测：GPT-6 Sol 随算力近线性提升，Bug Hunt 仍不敌 Opus 5.5(2026-09-23,3 条)
- 第 7 集:Bug Hunt Bench 实测 GPT-6：Astra 居首，Sol 版本大幅退化(2026-09-24,2 条)
- 第 8 集:GPT-6 命名流出：Sol 对应 Terra，Luna 疑退化(2026-09-24,3 条)
- 第 9 集:Bug Hunt Bench 发布：105 个真实 bug 横评前沿编码模型，成本差 200 倍(2026-09-24,3 条)
- 第 10 集:GPT-6 Sol/Luna 登场：低价 API 与三档定价引发关注(2026-09-25,2 条)
- 第 11 集:网友推测 OpenAI 高效新模型意在腾算力并适配超快推理(2026-09-25,2 条)
- 第 12 集:GPT-6 Sol 被指遭低估：机器人任务成绩升成本降(2026-09-25,2 条)
- 第 13 集:GPT-6.1 Sol 发布：Astra 级智能、价格约 1/5(2026-09-29,32 条)
- 第 14 集:GPT-6 Astra Ultrafast 曝光：Codex 提速最高 8 倍(2026-09-30,2 条)
- 第 15 集:GPT-6.1 Sol 第三方评测集中出炉：性能近 Astra、成本大降(2026-09-30,21 条)
- 实测 105 个隐藏 bug:作者称其 code-review skill 可显著提升模型成绩 — PawelHuryn · 2026-09-24
- Bug Hunt Bench 排行榜公开:各模型修 105 个 bug 的成绩与成本全景 — PawelHuryn · 2026-09-24
- Bug Hunt Bench：105 个真实植入 bug 横评前沿编码模型，成本差 200 倍 — PawelHuryn · 2026-09-24