Bug Hunt Bench 排行榜公开:各模型修 105 个 bug 的成绩与成本全景
PawelHuryn · x · 2026-09-24
Pawel Huryn 公布 Bug Hunt Bench 的完整排行榜页面。基准对前沿编码模型盲评(blind-graded),每个仓库一个 prompt,统计模型在 105 个植入 bug 中修复的数量,并提供成绩-成本(对数轴,全程差距约两百倍)、成绩-耗时(线性轴,差距不到 7 倍)等多个视图;每行运行的完整说明与注意事项在 GitHub 的 results/run-notes.md。页面由其产品经理 newsletter The Product Compass 维护,主打实测、不吹不黑。
所属事件:Bug Hunt Bench 发布:105 个真实 bug 横评前沿编码模型,成本差 200 倍(3 条相关)→
「编程与Agent」频道最新
- dots 更新支持 agent 同时控制 Windows 与 Mac 双机 — dkundel · 2026-11-12
- Granola 推出 Agent Briefs:每晚为 AI agent 打包你的最新上下文 — soleio · 2026-11-12
- 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
- KubeCon 前夕 Azure Day:AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- OpenShell 实用技巧:一条命令把沙箱内 Web 应用暴露到浏览器 — gethackteam · 2026-11-12
- 开发者打造「智能操作系统」:模型与智能体直接内建于 Linux 桌面系统 — NerdyRodent · 2026-11-12