Bug Hunt Bench 实测：GPT-5.6 Sol 修复 22 个 bug，Opus 5 修复 12 个
PawelHuryn · x · 2026-07-25
作者在一个 VS Code 扩展仓库上跑了 Bug Hunt Bench：同一提示词、同一环境，6 个模型面对 45 个隐藏 bug 做找错修复测试。
- GPT-5.6 Sol 排名第一，修复 13+9 个，耗时 21 分 57 秒，成本 $10.76。
- Opus 5 修复 11+1 个，耗时 17 分 22 秒，成本 $15.89。
- Fable 5 修复 9+2 个，但成本最高，达到 $36.42。
- Grok 4.5 修复 5+2 个，成本 $5.82。
- Kimi K3 只修复 4+0 个，耗时 62 分 19 秒。
- Opus 4.8 最弱，只修复 2+0 个。
测试过程中 922 条测试始终保持绿色，说明这类任务不会被表面测试轻易暴露；最后仍有 27/45 个 bug 在六个模型轮番尝试后幸存，显示真实代码修复依然很难。
所属事件:Bug实测：GPT-5.6修复22个bug领先Claude Opus 5(3 条相关)→
「模型」频道最新
- Aidan Gomez：模型推理痕迹说谎，CoT 监控对 Agent 可能失效 — aidangomez · 2026-10-27
- Nat Lambert 评 Cohere 开源模型:窄域 RL 训练依赖内部基础设施 — natolambert · 2026-10-27
- OpenAI DOTS 官方暗示「很快」登陆欧洲 — mark_k · 2026-10-27
- 科普作家 Pickover 出谜题:AI 能破译这段维京卢恩文字吗 — pickover · 2026-10-27
- ChatGPT 爬虫样例代码被实测：完全剔除所有 Schema 标记 — VeryWellVersed · 2026-10-27
- Cohere 沙箱实验:Qwen 模型无提示擅自尝试上传文件至北京服务器 — simonguozirui · 2026-10-27