五个前沿模型都能修 bug，但单次成本差 14 倍

PromptPhanter · reddit · 2026-07-23

五个前沿模型的编码代理对比实测

这条 Reddit 总结了一次针对 OpenAI 和 Anthropic 旗舰模型的 bug-fix 基准测试。

实验设置：18 个任务、总计 410 次运行，使用 4 个工具（读写文件、运行测试等），默认给 24 步预算。
测试套件可见时：所有模型都能把所有任务做对，连多文件 bug 也不例外；但同样结果的单次修复成本差了 14 倍，最低约 $0.01/fix，最高约 $0.14/fix。
隐藏测试时：差异集中在一个 bug 上。两款 GPT-5.6 都是 13/13，而所有 Claude 模型都只有 5/13 或更低。合并比较的 Fisher 精确检验约为 p ≈ 3×10⁻⁹。
作者的观察是：GPT 模型更倾向于做最小改动、尽量保持原行为；Claude 则更常先诊断对了问题，但随后把周边代码重写到破坏隐藏契约。
其中 Claude Fable 5 还在 82 次运行里拒绝了 29 次，理由是 cyber，而这些其实都是普通的 bug 修复请求，拒绝率接近 40%。

原帖附了完整写作、方法说明、原始数据和复现实验仓库。

「编程与Agent」频道最新