Bug Hunt Bench 实测：GPT-6 登顶，MiMo 性价比惊艳

独立评测者 Pawel Huryn(The Product Compass 作者)构建并公开了评测站 Bug Hunt Bench:在两个真实代码仓库中选取 105 个 bug,让各家前沿模型查找并修复,由跨模型家族的盲评裁判对照私密答案打分,未修复或漏判记 0 分,每模型多轮运行取统计量。结果显示 GPT-6 Astra(max)以修复 45 个居首($33.03,n=3),Opus 5.5 追平 GPT-6 且成本仅约一半,小米新发布的 MiMo-V2.6-Pro 得 22.7 分仅花 $0.86 被其称为性价比标杆,而 Grok 4.7 未见代际提升。

已确认

• 评测方法:两个真实仓库、105 个 bug、每仓库单 prompt、跨模型家族评委对照答案密钥盲评、未修复或漏判记 0 分、每模型多轮运行取统计量,发布于 Bug Hunt Bench(bughunt.productcompa…)。
• 榜单成绩:GPT-6 Astra(max)45 分第一($33.03,n=3);Opus 5.5 追平 GPT-6、成本约一半;Muse Spark 1.3(max)32.2 分($18.11);GPT-5.6 Luna(max)31.5 分($2.82);MiMo-V2.6-Pro 22.7 分($0.86);Grok 4.7 与 4.6 均约 28.7。各模型成本相差近 200 倍。
• 另一组阶段性横评(m8、m10):GPT-6 Astra(max)45 分(n=3)、Fable 5.1(max)43 分(n=1)、GPT-5.6(max)42.5 分、Opus 5.5(max)41.7 分;同口径下 GPT-6 Sol(max)只修 29.3 个、大幅退化垫底全场(m1、m9);GPT-5.6 Sol(max)43.5 分;Huryn 还观察到 Opus 5.5 推理力度越低掉分越狠。
• 难度定位澄清(m14):这 105 个 bug 并非随机挑选,而是 2026 年初前沿模型一开始集体未能解决的高难度问题;未主动植入的真实 bug 不计入成绩,因为 OpenAI 会大量报告真实、理论上的 bug。
• Grok 追加实验(m11、m15):high 档 Grok 4.6 以 23 比 19 胜过 4.7,4.6 的 medium 档也更好;max 档 4.7 追加第四轮(n=4)后仅以 0.1 分反超 4.6,此前 xhigh 档三次运行也未拉开差距,作者判定 0.1 分领先属随机噪声并停止该难度档测试。

尚未确认

• Huryn 疑似 Grok 4.7 针对热门榜单优化、而非真实代码能力提升,属其个人推测,尚无其他证据佐证。
• 该自建基准(仅两个仓库、难题偏选)能否推广到真实工程场景,仍有待更多独立复现。GregGL87 等转发者对 MiMo 性价比的推崇亦属转述评价。

为什么重要

• 基准刻意选取「全体前沿模型集体失手」的难题,并公开成本数据,直观展示了模型间能力与性价比的巨大差距(MiMo-V2.6-Pro 以约 1/38 的价格拿到 GPT-6 约一半的分数),为关注真实编程能力的开发者提供了区别于官方宣传的第三方参考。
• Grok 4.7 在此基准上未体现实质代际提升,GPT-6 Sol 相比 Astra 大幅退化,对追踪各家模型进展的观察者是有价值的第三方信号。

2026-09-22 ~ 2026-09-23 · 18 条相关

事件全程(共 9 集)→

• 第 1 集:Grok 4.7 疑似现身 OpenCode Zen 目录，发布倒计时(2026-09-21,5 条)
• 第 2 集:xAI 发布 Grok 4.7：同价同速升级，基准大涨(2026-09-21,59 条)
• 第 3 集:Grok 4.7 发布首日实测：自主工作与编程口碑全面走高(2026-09-22,17 条)
• 第 4 集:Grok 4.7 发布：评测能力大涨但 token 消耗翻倍引争议(2026-09-22,25 条)
• 第 5 集:Grok 4.7 被指逼近顶级前沿模型，性价比成焦点(2026-09-22,2 条)
• 第 6 集:Grok 4.7 上市即有开源编辑器插件，装机超 14 万(2026-09-22,3 条)
• 第 7 集:Bug Hunt Bench 实测：GPT-6 登顶，MiMo 性价比惊艳(2026-09-22,18 条)
• 第 8 集:Grok 4.7 与小米 MiMo-V2.6 同夜对狙(2026-09-22,5 条)
• 第 9 集:xAI 九周连发三代 Grok 模型引热议(2026-09-22,2 条)

• 实测评测:105 个植入 bug 下 Grok 4.7 仅 28.7 分,不敌 GPT-6 — PawelHuryn · 2026-09-22
• 转发实测：Grok 4.7 在 105 个真实 bug 横评中仅得 28.7 分 — eugeniyoz · 2026-09-22
• Grok 4.7 多次评测仅胜 4.6 0.1 分,作者判定属随机噪声 — PawelHuryn · 2026-09-22
• 实测反转:4.6 高档跑赢 4.7,疑似针对热门榜单优化 — PawelHuryn · 2026-09-22
• 小米 MiMo-V2.6-Pro 实测修 105 个真实 bug:22.7 分仅花 $0.86 — PawelHuryn · 2026-09-22
• Bug Hunt Bench 用 105 个真实漏洞实测：模型成本相差近 200 倍 — PawelHuryn · 2026-09-22
• 105 个真实 bug 盲评：MiMo-V2.6-Pro 得分 22.7 仅花 $0.86，成性价比标杆 — Greg_GL_87 · 2026-09-22
• 【源头】105 个 bug 非随机题,而是 2026 年初前沿模型集体失手的难题 — PawelHuryn · 2026-09-23
• 【源头】实测 Opus 5.5 修复 105 个植入 bug:追平 GPT-6,成本仅一半 — PawelHuryn · 2026-09-23
• 【源头】Bug Hunt Bench 实测:GPT-6 Astra 登顶,修真实埋 Bug 能力排行榜出炉 — PawelHuryn · 2026-09-23
• GPT-6 Astra 以 45 分登顶，Opus 5.5 推理力度越低掉分越狠 — PawelHuryn · 2026-09-23
• 博主实测对比:GPT-6 Astra 以 45 分暂居榜首,超 Opus 5.5 — PawelHuryn · 2026-09-23
• GPT-6 Sol 实测翻车:105 个隐藏 bug 只修 29.3 个,垫底全场 — PawelHuryn · 2026-09-23

另有 5 条近重复转述:PawelHuryn · PawelHuryn · PawelHuryn · PawelHuryn · ronnhue