Bug Hunt Bench:105 个真实代码 Bug 横评前沿模型
PawelHuryn · x · 2026-09-29
Pawel Huryn(The Product Compass 作者)发布 Bug Hunt Bench,用真实重植的 bug 检测前沿编码模型的修复能力:
- 题库是真实的开源仓库里 2026 年初前沿模型未能发现的真实 bug 重新植入,共 105 个;
- 盲评:由不同模型家族的校准 judge 打分,答案钥匙私密保存,保证基准不轻易被刷;
- 严格计分:只算彻底修复的 bug,「找到但没修好」得 0 分;模型乱报的不相关真实问题不计入;
- 排行榜同时展示分数与成本的对比——各 run 成本差距约 200 倍,时间差距不到 7 倍,日志轴才能诚实呈现;
- 支持按不同推理档位/harness 多次运行同一模型,完整 run notes 与注意事项在 GitHub 公开。
所属事件:Bug Hunt Bench:Sonnet 5.5 以 55.5 分领先但成本高企(5 条相关)→
「模型」频道最新
- MazeBench token 效率榜:Fable 5.2 领先,将跑满 10 亿 token 验证 — patience_cave · 2026-11-16
- Fable 5.2 解谜好到可疑:仍答对已被更新作废的旧版迷宫答案 — patience_cave · 2026-11-16
- MazeBench 新高:Fable 5.2 花费 90 小时和 6000 美元跑出 21% 登顶 — patience_cave · 2026-11-16
- 腾讯 Hy4 flash 与 internlm Sage-S2.1-Flash 同日发布,实测征集 — MajesticPuzzler · 2026-11-16
- 网友晒 Qwen 4 Max 生成珊瑚礁作品,模型名尚未官方发布 — intellectronica · 2026-11-16
- Devin 中现 stealth 模型 silicon-2,疑似 Anthropic 新模型 — kimmonismus · 2026-11-16