Bug Hunt Bench 发布:105 个真实 bug 横评前沿模型

开发者 Pawel Huryn(The Product Compass 作者)发布并运营 Bug Hunt Bench 基准:在两个生产代码库中人为埋入 105 个真实 bug,让 GPT-6、Claude、Grok、Gemini、DeepSeek、Kimi、GLM 等前沿模型在各自 agentic 配置下修复,按修复数量盲评排名,每个仓库只给一次提示,满分 105,结果持续更新于其 GitHub 榜单页面,支持用过滤器对比查看。本轮最大亮点是 DeepSeek-V4.1-Flash 的高性价比,作者还表示正用各模型 CLI/API 的最高推理档复测 Kimi K3 和 GLM,新结果将更新进排行榜。

已确认

• GPT-6 Astra 补测成绩:low 档 27/105、medium 档 34/105,结果此前已于 9 月 4-5 日发布,可在榜单页面用过滤器对比查看。
• DeepSeek-V4.1-Flash(high 档):max effort 下修复 24/105,总花费仅 $1.80,耗时 42.6 分钟。
• Huryn 复测发现 V4.1 Flash 明显优于 V4 Pro:DeepSeek V4 Pro(max)仅 16/105,花费 $1.89、耗时 37 分钟,即 Flash 得分更高还更便宜。
• 据转述同一基准的对比数据:Claude Opus 5(max)修复 27 个,成本 $51.33;Grok 4.6(max)等旗舰模型也在对比之列;DeepSeek-V4.1-Flash 的 $1.80 成本约为 Opus 的 1/28(即 3.5%)。
• Huryn 正在用各自 CLI/API 的最高推理档复测 Kimi K3 与 GLM,结果尚未上榜。

尚未确认

• 上述 Opus、Grok 等模型对比数字主要来自转发帖的转述,精确口径以 Huryn 的 GitHub 榜单页为准。
• Kimi K3 与 GLM 的复测结果尚未发布。

为什么重要

• 该基准用真实仓库预埋 bug、盲评、单次提示的设定,比传统合成基准更贴近实际修 bug 场景。
• Huryn 强调 DeepSeek-V4.1-Flash 以约 $1.80 的成本修复 24 个 bug,在同级价格中性价比突出,且反超自家更贵的 V4 Pro,为预算敏感的团队提供了有参考价值的选型数据。
• 榜单持续补测新模型,有望成为跟踪前沿编码模型修 bug 能力的动态参考。

2026-09-10 ~ 2026-09-11 · 13 条相关

事件全程(共 18 集)→

• 第 1 集:DeepSeek V4.1 Flash 限时内测：新架构原生多模态(2026-09-08,18 条)
• 第 2 集:DeepSeek V4.1 Flash实测：极速350 tokens/s但偏实验性(2026-09-08,2 条)
• 第 3 集:DeepSeek V4-Flash 降价并改峰谷计费，9 月 10 日生效(2026-09-08,6 条)
• 第 4 集:DeepSeek V4.1 Flash 多方实测：近前沿性能，成本仅 1.4%~3.5%(2026-09-09,15 条)
• 第 5 集:DeepSeek 开源发布 V4.1 Flash，超旗舰低价引热议(2026-09-09,57 条)
• 第 6 集:DeepSeek V4.1/Flash 爆料：552B 非对称架构对标 GPT-5.6 Sol(2026-09-10,21 条)
• 第 7 集:DeepSeek V4.1 Flash 评测跑分流出，社区热议实测表现(2026-09-10,2 条)
• 第 8 集:DeepSeek 九个月将 KV 缓存压缩 54 倍至亚 KB 水平(2026-09-10,6 条)
• 第 9 集:传 DeepSeek 新模型成开源之王：碾压 GLM、Kimi 且便宜 4-10 倍(2026-09-10,3 条)
• 第 10 集:Bug Hunt Bench 发布:105 个真实 bug 横评前沿模型(2026-09-10,13 条)
• 第 11 集:DeepSeek V4.1 Flash 确认以 YOCO 架构为核心(2026-09-10,7 条)
• 第 12 集:DeepSeek V4.1 Flash 技术报告流出：死磕 KV cache 压缩(2026-09-11,44 条)
• 第 13 集:DeepSeek V4.1 Flash 登顶 Vals 开源榜，成本仅 0.3 美元(2026-09-11,2 条)
• 第 14 集:DeepSeek 发布 V4.1-Flash：552B 骨干、百万上下文(2026-09-11,5 条)
• 第 15 集:DeepSeek V4.1 Flash 评测得 40 分，幻觉率上升仍领先开源(2026-09-11,2 条)
• 第 16 集:DeepSeek CED 与 GLM 的 KV 缓存复用机制解析(2026-09-11,4 条)
• 第 17 集:DeepSeek 4.1 Flash 实测：缓存降价 7 倍，内核大升级(2026-09-11,2 条)
• 第 18 集:SGLang 24 小时适配 DeepSeek V4.1 Flash 达 873 tok/s(2026-09-12,2 条)

• 【源头】Bug Hunt Bench 实测 105 个真实 bug,DeepSeek-V4.1-Flash 高性价比夺目 — PawelHuryn · 2026-09-10
• Bug Hunt Bench 上架 Astra 成绩:低档 27 中档 34 分 — PawelHuryn · 2026-09-10
• 同场基准补测:GPT-6 Astra 低档 27 分、中档 34 分修 Bug — PawelHuryn · 2026-09-10
• 实测 105 个隐藏 bug:DeepSeek V4.1 Flash 修复 24 个,成本仅 Opus 1/28 — AlexSed90 · 2026-09-10
• 【源头】DeepSeek V4.1 Flash 实测:24/105 仅花 $1.80,碾压同级价格 — PawelHuryn · 2026-09-10
• Bug Hunt Bench 用 105 个真实埋入 Bug 排名前沿编程模型 — PawelHuryn · 2026-09-10
• DeepSeek V4 重测:max 推理档 105 个 Bug 修复 16 个仅花 1.89 美元 — sunncynn · 2026-09-10
• DeepSeek V4.1 Flash 实测反超 V4 Pro:得分更高还更便宜 — PawelHuryn · 2026-09-10
• Bug Hunt Bench 更新:实测 Kimi K3 与 GLM 修复植入 Bug 能力 — PawelHuryn · 2026-09-11
• Bug Hunt 实测:DeepSeek V4.1 Flash 24 分仅花 $1.80,逼近 Opus — iPaulis · 2026-09-11
• 【源头】Bug Hunt Bench 放榜:105 个真实埋 bug 横评前沿编码模型 — PawelHuryn · 2026-09-11

另有 2 条近重复转述:PawelHuryn · ChartsJournalX