Bug Hunt 榜单：Fable 5.2 三百多轮仅发现1个别人没修过的bug

PawelHuryn · x · 2026-11-10

Pawel Huryn 公开其 Bug Hunt 基准的匿名覆盖统计（答案密钥保密）：在 300+ 轮运行中，Fable 5.2 (max) 修复的 bug 里只有 1 个是此前从未被任何模型修过的。配套热力图展示了各模型在 105 个植入 bug 上的覆盖与重叠情况：- 榜单使用真实仓库与 2026 年初前沿模型漏掉的复植 bug，仅计「完全修复」，由异家族盲评校准裁判评分。- Sonnet 5.5 (max) 51/105、GPT-6 Astra (max) 45/105、DeepSeek V4.1 Flash 1017 (max) 42/105 等；每模型修复的 bug 集合差异显著，平均每轮约 15 个 bug 只有该模型修复。- 部分模型（如某些 OpenAI 模型）会报告大量真实但无关的问题来刷分，未计入。