Bug Hunt Bench：105 个真实植入 bug 横评前沿编码模型，成本差 200 倍
PawelHuryn · x · 2026-09-24
Pawel Huryn（The Product Compass 作者）推出 Bug Hunt Bench，一个针对前沿编码模型的实测排行榜：在真实 repo 中植入 105 个 bug，考察各家模型修复数量。
- 盲评机制：每个 repo 只用一条 prompt，评分盲化，避免主观偏差；支持按推理档位、不同 harness 对比同一模型。
- 成本视角：排行榜附带 score-vs-cost / score-vs-time 视图，成本跨度约 200 倍（对数轴呈现），时间跨度不足 7 倍（线性轴）。
- 所有运行的详细说明与注意事项公开在 GitHub 的 run-notes.md 中，作者承诺「hands-on、不炒作、只跑过的才上榜」。
所属事件:Bug Hunt Bench 发布：105 个真实 bug 横评前沿编码模型，成本差 200 倍(3 条相关)→
「编程与Agent」频道最新
- Plurai 推出 Agent 仿真测试:让 agent 在数字孪生世界里先失败再修复 — PrajwalTomar_ · 2026-11-11
- PlayCanvas 引擎仓库突破第 10000 个 issue/PR 里程碑 — willeastcott · 2026-11-11
- AI 做的游戏太难：Claude 6 分钟通关，作者砍 40% 难度 — builderjaydub · 2026-11-11
- Anthropic 推出 Claude Tag，65% 产品代码由内部 AI 生成 — nikola_mr64990 · 2026-11-11
- 评测工作流核心：最大化专家每单位注意力的信息增益 — danshipper · 2026-11-11
- 开源 Node 把 ComfyUI 工作流变一键模型，内置 19 个工作流 — jefoce · 2026-11-11