Bug Hunt Bench 实测 105 个真实 bug,DeepSeek-V4.1-Flash 高性价比夺目
PawelHuryn · x · 2026-09-10
开发者 Pawel Huryn 发布 Bug Hunt Bench:在两个生产代码库中埋入 105 个真实 bug,让 GPT-6、Claude、Grok、Gemini、DeepSeek、Kimi、GLM 等前沿模型在各自的 agentic CLI(Codex CLI、Claude Code 等)中一轮定位并修复,修复 diff 对照隐藏答案盲评,只计预埋 bug。
- DeepSeek-V4.1-Flash (high):max effort 24/105,耗时 42.6 分钟、花费 $1.80;high effort 19/105,花费仅 $0.31。
- 对比:Gemini 3.8 Flash (high) 20/105、$9.78;GLM-5.3 (default) 19/105、$19.73。
- deepseek-v4-pro 的 max/high effort 结果即将更新,榜单在 GitHub 与线上实时更新,附每个 bug 的完整凭据。
- 作者 FAQ 澄清:这些是 2026 年初前沿模型起初也难解的真实硬 bug;OpenAI 模型常报告真实但不相关的 bug,不计分以免膨胀分数;每家模型由另一模型家族盲评,校准已验证。
所属事件:Bug Hunt Bench 发布:105 个真实 bug 横评前沿模型(13 条相关)→
「模型」频道最新
- Nanbeige4.3-33B 实测：单流 59 tok/s，64 并发总计约 1060 tok/s — MaziyarPanahi · 2026-10-26
- 测试显示 AI 检测器对轻度 AI 润色几乎全部漏判 — paulnovosad · 2026-10-26
- Qwen 4 疑似现身竞技场，阿里下一代模型或已开测 — AIFlow_ML · 2026-10-26
- Nat Lambert 首讲开源模型生态：蒸馏、风险与开放访问走向 — natolambert · 2026-10-26
- 同 harness 对比实测：Nanbeige 33B 输出零可编译 — julianharris · 2026-10-26
- Claude 拒写 SS7 异常检测器，安全分类器误伤防御研究逼用户跑 abliterated GLM — l4rz · 2026-10-26