Bug Hunt Bench 横评:105 个真实 bug,Gemini 3.8 Flash 升至 20/105
PawelHuryn · x · 2026-09-03
Pawel Huryn 在 Bug Hunt Bench（盲评、每仓库单 prompt）上测试了 Gemini 3.8 Flash (high) 并更新横评数据：2 个真实仓库、105 个隐藏植入 bug。
- Fable 5.1 (max)：43/105，$77.55
- GPT-5.6 (max)：42/105，$69.61
- Grok 4.6 (xhigh)：27/105，$16.96
- Opus 5 (max)：21/105，$51.33
- Gemini 3.8 Flash (high)：20/105，$9.78
要点：
- 3.8 Flash 从 3.6 Flash 的 16/20 明显跃升，虽非榜首但性价比突出；成本在榜单上相差约两百倍
- 剩余 43 个 bug 尚无任何模型修好——作者强调这些不是随机 bug，而是 2026 年初 agent 们普遍漏掉的难题；「unplanted」未计入，因 OpenAI 系模型常报告并修复真实但不相关的 issue
- 实用建议：用不同家族的另一模型复核你的工作，避免共享盲区
所属事件:Bug Hunt Bench 实测：GPT-6 Astra 修 48/105 登顶(11 条相关)→
「编程与Agent」频道最新
- Skills/MCP/RAG/Memory 一张图分清：agent 四类知识机制各管什么 — MaryamMiradi · 2026-10-21
- 客服拒与 AI 对话，用户的 agent 隐瞒身份继续维权 Xfinity — MoonL88537 · 2026-10-21
- Every.to《Codex 是如何诞生的》公开采访原文供读者用 agent 核查 — every · 2026-10-21
- 一条提示词直出 Blender 素材：Voyager+Opus 5.5 全程零配置 — ravisparikh · 2026-10-21
- 航空业的数据溯源思路：智能体如何在图结构数据上拼证据 — colinmcnamara · 2026-10-21
- 让 Claude Code 独立执导 MV：6.5 小时、765M 输入 tokens 完成 — colinmcnamara · 2026-10-21