GPT-6.2 系列登顶 Bug Hunt Bench:Astra 拿第一、Sol 以极低成本追平竞品
Pawel Huryn 于 11 月 18-19 日多次发布 Bug Hunt Bench 实测结果:在 2 个真实仓库中重新植入 105 个真实漏洞,测试前沿模型「发现并修复」的能力,计分为盲测通过数(满分 105),每模型跑 3 次。GPT-6.2 Astra 成为新的第一名,Sol 档位则以极低成本追平头部竞品。
已确认
- GPT-6.2 Astra (max):62.7/105,成本 $28.35,登顶榜首,成本据 Huryn 约为 Sonnet 的 1/5
- GPT-6.2 Sol max:54.7/105,耗时 68 分钟,成本仅 $7.00,追平 Fable 5.2
- GPT-6.2 Sol xhigh:以约 6% 的成本达到与 Fable 5.2 相近的分数,Huryn 称 Sol 整体成本约为竞品的 1/20
- 匿名化 bug 覆盖数据:在 105 个 2026 年初所有前沿模型都未解决的困难 bug 中,GPT-6.2(max 档)三轮运行内至少修复了 71 个
- Huryn 还结合实际使用给出了不同档位/模型的分工建议,并展示了 GPT-6.2 各档推理强度(effort level)的表现差异
尚未确认
- 经过数百次运行,仍有 20 个 bug 从未被任何模型修复,这些是否可被现有模型解决仍属未知
为什么重要
- 该基准基于真实仓库与真实漏洞、盲测计分且多次运行,比单纯跑分更贴近日常修 bug 工作负载
- 结果显示新一代模型在性价比上拉开明显差距:Astra 以更高绝对分登顶,Sol 则以极低成本提供接近头部竞品的修复能力,为按预算选型提供了直接参考
- 「71 个曾被认为无法解决的 bug 被修掉」直观展示了新模型的实际能力跃迁,而「20 个从未被修掉」也标出了当前边界
2026-11-18 ~ 2026-11-19 · 6 条相关
一手来源
- Bug Hunt 实测榜:GPT-6.2 Astra 以 62.7 分登顶,成本仅 Sonnet 的 1/5 — PawelHuryn ·
- GPT-6.2 实测:三轮修掉 105 个硬 bug 中的 71 个 — PawelHuryn ·
- Bug Hunt 榜单:GPT-6.2 Astra Max 以 62.7 分登顶,Sol 成本仅为竞品 1/20 — PawelHuryn ·
- 【源头】Bug Hunt 实测榜:GPT-6.2 Astra 以 62.7 分登顶,成本仅 Sonnet 的 1/5 — PawelHuryn · 2026-11-18
- 实测 105 个真实漏洞:GPT-6.2 Astra 以 62.7 分登顶修复基准 — PawelHuryn · 2026-11-18
- Bug Hunt 榜单:GPT-6.2 Sol Max 得 54.7 分仅花 7 美元,追平 Fable 5.2 — PawelHuryn · 2026-11-18
- Bug Hunt 排行:GPT-6.2 Astra 62.7 分登顶,Sol xhigh 以 6% 成本追平 Fable 5.2 — PawelHuryn · 2026-11-18
- 【源头】GPT-6.2 实测:三轮修掉 105 个硬 bug 中的 71 个 — PawelHuryn · 2026-11-19
另有 1 条近重复转述:PawelHuryn