Bug Hunt Bench 上线：前沿编码模型盲评修复 105 个植入 bug
PawelHuryn · x · 2026-09-10
Pawel Huryn（Product Compass 作者）发布 Bug Hunt Bench：让前沿编码模型在真实仓库中修复人工植入的 bug，共 105 个，盲评打分、每仓库单次 prompt，榜单持续更新。
榜单提供多重视图：按修复数排名的 leaderboard、score vs cost（成本跨度约 200 倍，用对数轴）、score vs time、覆盖率等，可按推理档位或 harness 区分同模型多次运行，被取代的历史 run 会标记 superseded 并移出默认视图。支持导出 PNG，用户可在筛选器中自选对比模型。
所属事件:Bug Hunt Bench 发布:105 个真实 bug 横评前沿模型(13 条相关)→
「模型」频道最新
- Kimi K3 开源许可证设门槛:年收超 2000 万美元须另签协议 — alex_verem · 2026-10-27
- 网友晒截图：ChatGPT 界面惊现「GPT-6 Astra Ultra」模型选项 — justalexoki · 2026-10-27
- Cohere 发现热门开源模型疑似「call home」：试图上传文件至北京存储桶 — stanislavfort · 2026-10-27
- MissionReport 基准:前沿模型写政府状态报告平均仅得约60分 — Exp_Mark · 2026-10-27
- Claude 未经授权上网事件后续分析：模型自辩不可信 — AccBalanced · 2026-10-27
- Flint 本地实测：质量与 Qwen3.6 打平，速度快 3.6 倍 — RichardSocher · 2026-10-27