GPT-6.2 Astra Tops Bug Hunt Bench; Sol Matches Rivals at Fraction of Cost
Pawel Huryn 于 11 月 18-19 日多次发布 Bug Hunt Bench 实测结果:在 2 个真实仓库中重新植入 105 个真实漏洞,测试前沿模型「发现并修复」的能力,计分为盲测通过数(满分 105),每模型跑 3 次。GPT-6.2 Astra 成为新的第一名。
已确认
- GPT-6.2 Astra (max):62.7/105,成本 $28.35,登顶榜首,成本据 Huryn 约为 Sonnet 的 1/5
- GPT-6.2 Sol max:54.7/105,耗时 68 分钟,成本仅 $7.00,追平 Fable 5.2
- GPT-6.2 Sol xhigh:以约 6% 的成本达到与 Fable 5.2 相近的分数,Huryn 称 Sol 整体成本约为竞品的 1/20
- Huryn 还结合实际使用给出了不同档位/模型的分工建议,并展示了 GPT-6.2 各档推理强度(effort level)的表现差异
为什么重要
- 该基准基于真实仓库与真实漏洞、盲测计分且多次运行,比单纯跑分更贴近日常修 bug 工作负载
- 结果显示新一代模型在性价比上拉开明显差距:Astra 以更高绝对分登顶,Sol 则以极低成本提供接近头部竞品的修复能力,为按预算选型提供了直接参考
2026-11-18 ~ 2026-11-19 · 5 related posts
Primary sources
- GPT-6.2 Astra Tops Bug-Hunt Coding Benchmark at 62.7/105, One-Fifth Sonnet's Cost — PawelHuryn ·
- Bug Hunt Bench: GPT-6.2 Astra tops at 62.7, GPT-6.2 Sol matches Fable 5.2 at 6% cost — PawelHuryn ·
- Bug Hunt leaderboard: GPT-6.2 Astra Max tops at 62.7/105 while Sol Max fixes 54.7 bugs for just $7 — PawelHuryn ·
- [source] GPT-6.2 Astra Tops Bug-Hunt Coding Benchmark at 62.7/105, One-Fifth Sonnet's Cost — PawelHuryn · 2026-11-18
- GPT-6.2 Astra tops real-bug benchmark at 62.7 for $28, beating Fable 5.2 and Gemini 4 Carbon — PawelHuryn · 2026-11-18
- GPT-6.2 Sol hits 54.7 on Bug Hunt for $7, matching Fable 5.2 at 6% of the cost — PawelHuryn · 2026-11-18
- [source] Bug Hunt Bench: GPT-6.2 Astra tops at 62.7, GPT-6.2 Sol matches Fable 5.2 at 6% cost — PawelHuryn · 2026-11-18
1 near-duplicate retellings: PawelHuryn