GPT-5.6 Sol 在 60 个回归 bug 基准中又修了 29 个意外问题
PawelHuryn · x · 2026-07-27
Repo 2：60 个已上线回归 bug，7 个前沿模型对比
第二个基准换成了一个 LMS 代码库，里面有 60 个真实的回归 bug，而且这些 bug 都已经在真实产品中出现过，每一个都能对应到最初修复它的 commit。
结果显示：
- GPT-5.6 Sol 修复了 18 个预设回归问题，后来又修复了 29 个并非作者预先植入的 bug。
- 作者在文字总结里说，其他模型的修复数大致落在 1 到 6 个之间；配图则给出了更完整的模型对比。
- 作者还表示，自己原本以为这个代码库已经很干净了。
这组测试同样采用严格的 diff 评判：关键不是模型说得有多自信，而是它提交的改动到底有没有真正修掉 bug。
所属事件:前沿大模型实测：105个隐藏bug超半数未被捕获(4 条相关)→
「模型」频道最新
- 继续实测:6 个 luna 模型照图作画,结果出乎意料地不差 — adonis_singh · 2026-09-23
- 用 computer use 让模型照参考图作画,Opus 与 Astra 实测对比 — adonis_singh · 2026-09-23
- AI 玩狼人杀说服众人投出对手,最终获胜 — pbbakkum · 2026-09-23
- 博主实测称 Anthropic Opus 5.5 对话体验出色 — daniel_mac8 · 2026-09-23
- AI 模型盈利榜分析:Opus 5.5 半价碾压 Fable 5.1,Grok 越用越亏 — Wsz2020 · 2026-09-23
- MachgenAI:账户余额超25美元可免费用Minimax H3 Turbo生成 — TheMoonMidas · 2026-09-23