105 个隐藏 bug 里有 63 个躲过了所有前沿模型
PawelHuryn · x · 2026-07-27
105 个隐藏 bug 里，有 63 个躲过了所有模型
这条补充帖把整个基准的办法和汇总结果说得更清楚：
- 两个代码库合计测试了 105 个隐藏 bug。
- 其中 63 个 bug 在所有模型面前都幸存了下来。
- 评测采用了 盲评、匿名提交 和 隐藏答案键。
- 作者强调，diff 才是真实标准，不是模型自己的自述报告。
- 在这 63 个顽固 bug 里，43 个其实已经在真实产品中出现过，并且曾经被修复过。
这说明即使让多款前沿模型反复阅读同一份代码，它们依然可能漏掉那些已经在生产历史里出现过的问题。
所属事件:前沿大模型实测：105个隐藏bug超半数未被捕获(4 条相关)→
「模型」频道最新
- 有人称顶级模型如今写作还不如一年前 — dbreunig · 2026-07-27
- MPT-30B 雷达图曾意外引发大规模争议 — code_star · 2026-07-27
- 本地 Gemma 4 31B 自发变得毒舌且难以复现 — n0head_r · 2026-07-27
- Gemini 3.6 Flash 被看作能以低成本打 Sonnet 质量 — haider1 · 2026-07-27
- 用户吐槽 Opus 5 能力严重降级：满嘴胡言还算错题 — whatsallthiss · 2026-07-27
- Reddit 长文拆解 Kimi K3 背后的 MoE 和长上下文栈 — MohamedKadri_ · 2026-07-27