Bug Hunt Bench 排行:各编程模型修 bug 得分与成本全对比
PawelHuryn · x · 2026-11-13
AI 研究者 Pawel Huryn 分享了 Bug Hunt Bench(以“植入 bug 修复数”计分的编程基准)的排行榜,n=3 次运行的各模型表现:
- Claude(Fable 5.2 Max)n=3 得 58/105,成本 $139.65,142.8 分钟,居首
- Gemini 4 Carbon High 得 57.3,成本仅 $31.32,性价比突出
- Sonnet 5.5 Max 得 51.3 但耗时 2871 分钟、成本 $154
- OpenAI GPT-6 Astra/Sol 系列在 43-45 区间,GPT-6.1 Sol Max 成本低至 $5.88
- DeepSeek V4.1 Flash 1017 得 42.7,成本仅 $1.84,最便宜梯队
- Kimi K3.1 Pro 得 36,Grok 4.7 得 29(注:Grok 得分为重构的下界,CLI 上报的是 token 占用而非计费)
该基准只对“植入的 bug”计分,模型顺手修掉的真实 bug 单独统计不计入总分。作者补充 xhigh 档位三次运行的单独得分:43、27、28,波动明显。
「编程与Agent」频道最新
- 开源 CLI 把上千端点的 OpenAPI 规范压缩成 25 个工具的 MCP 服务器 — Worried-Barracuda845 · 2026-11-13
- 开源工具 whats-in-my-claude 本地可视化 .claude 目录 — Srqi · 2026-11-13
- 免费 link-in-bio 工具 Delulu Bio 接入 MCP，动嘴即可管理主页 — delulu_intern · 2026-11-13
- 开发者自制 Gemini Spark 视频导演 skill，一键把口播变成动态图形动画 — mijozakinho_2 · 2026-11-13
- 网友用 Gemini 造出一门完整编程语言 Math-Engine-MEP — Time_Warp_Anomaly258 · 2026-11-13
- 调查：69% 企业换生产环境模型需数周工程量 — ombre-ai · 2026-11-13