Bug Hunt Bench 放榜:105 个真实埋 bug 横评前沿编码模型
PawelHuryn · x · 2026-09-11
Pawel Huryn 推出 Bug Hunt Bench,一个针对前沿编码模型的 bug 排查基准:在真实仓库中人工埋入 105 个 bug,盲评打分,每个仓库只用一个 prompt,持续更新排行榜。
- 榜单同时给出分数-成本与分数-耗时两个视角:各 run 的成本相差约 200 倍,故成本轴采用对数刻度;耗时差距不到 7 倍,用线性轴即可诚实呈现。
- 支持「天花板 run」筛选、按实验室取最优、导出 PNG 等视图;不同推理档位/harness 的同一模型可多次上榜,历史 run 标记 superseded 不进默认视图。
- 作者另附一条按 OpenAI 全系模型筛选的视图链接,回应网友「Terra xhigh 档位在哪」的疑问(该项其实存在,只是被默认筛选器隐藏)。
所属事件:Bug Hunt Bench 发布:105 个真实 bug 横评前沿模型(13 条相关)→
「模型」频道最新
- 用户实测 GrokBot:订机票、网购全被拦,几乎办不成事 — lucasmeijer · 2026-10-26
- 售卖机基准新观察：Sol 5.6 被指最激进、最常违约 — xuanalogue · 2026-10-26
- 爆料称 Fable 5.5 每周将发，博主泼冷水：本月无前沿新模型 — patience_cave · 2026-10-26
- 实测 abliterated 去审查模型翻车:模型反而关心起我的心理健康 — ryunuck · 2026-10-26
- OpenAI Decisions API 升级：单次可处理 400 个问题并新增语音与图像能力 — OpenAIDevs · 2026-10-26
- 中国首个前沿AI安全独立评测实验室「方寸跃迁」成立并首发DeepSeek评测 — JacquesThibs · 2026-10-26