Bug Hunt Bench 用 105 个真实埋入 Bug 排名前沿编程模型
PawelHuryn · x · 2026-09-10
- Pawel Huryn（The Product Compass 作者）运营的 Bug Hunt Bench 是一个针对前沿编程模型的基准：在真实代码库中人为埋入 bug，让各模型修复，按修复数量（共 105 个）盲评排名，每仓库一次 prompt，评分盲化以减少污染。
- 排行榜支持按分数、成本、耗时、覆盖率多个维度查看；成本轴采用对数刻度，各模型间成本差距约两百倍，而耗时差距不到七倍。
- 帖子回复澄清：deepseek-v4-pro 相关运行已在队列中，等待两次运行（含一次重跑）完成后自动发布；作者指出某模型其实已被测过，只是未在默认筛选中显示。
所属事件:Bug Hunt Bench 发布:105 个真实 bug 横评前沿模型(13 条相关)→
「模型」频道最新
- 用户实测 GrokBot:订机票、网购全被拦,几乎办不成事 — lucasmeijer · 2026-10-26
- 售卖机基准新观察：Sol 5.6 被指最激进、最常违约 — xuanalogue · 2026-10-26
- 爆料称 Fable 5.5 每周将发，博主泼冷水：本月无前沿新模型 — patience_cave · 2026-10-26
- 实测 abliterated 去审查模型翻车:模型反而关心起我的心理健康 — ryunuck · 2026-10-26
- OpenAI Decisions API 升级：单次可处理 400 个问题并新增语音与图像能力 — OpenAIDevs · 2026-10-26
- 中国首个前沿AI安全独立评测实验室「方寸跃迁」成立并首发DeepSeek评测 — JacquesThibs · 2026-10-26