Bug Hunt 榜单:GPT-6.2 Astra Max 修复62.7/105居首,20个bug无人能解
PawelHuryn · x · 2026-11-19
Pawel Huryn 公布 Bug Hunt Bench(bughunt.productcompass.pm)各模型全力度档位对比。该基准只计预埋 bug,共 105 个:GPT-6.2 Astra MAX 三次运行中至少修复 62.7/105 居首,GPT-6.2 (max) 在 3 次运行中曾找到并修好 71/105;Anthropic Fable 5.2 MAX 得 58/105 但成本高达 $139.65,Opus 5.5 MAX 仅 41.7/105。要点:
- 上百次运行后,20/105 个 bug 从未被任何前沿模型解决,均为 2026 年初各旗舰全部漏掉的硬骨头
- 成本差异悬殊:Astra MAX 单次 $28.35/121.8 分钟,而 Sol low 仅 $1.96
- 努力度档位影响显著,低档位成绩普遍掉 15-25 分
榜单显示当前最强编码模型距「修完所有预埋 bug」仍有明显差距。
所属事件:谷歌发布 Gemini 4 Neon:登顶编码 Agent 榜单,性价比引热议(167 条相关)→
「编程与Agent」频道最新
- Reddit 热议:AI Agent 的决策需要「过期时间」,而非更大上下文 — Elvantime · 2026-11-22
- ianand 在 AI Engineer 大会演讲解读一篇论文及其翻车场景 — js_craft_hq · 2026-11-22
- 时区不一致让 Agent 流水线静默漏跑:毫无报错,只因「无事可做」 — fantomkoenig · 2026-11-22
- llms.txt 协议两年普及:Google Antigravity 等产品开始采用 — jeremyphoward · 2026-11-22
- 他为戒掉刷 X 做「只有 Agent 能看」的信息流:无 UI、按语义匹配 — imdogefather · 2026-11-22
- DeepMind 论文实测:不许直接看图,Gemini 漏检率从 86.7% 跌到 14.3% — nukebuddy · 2026-11-22