实测 Opus 5.5 修复 105 个植入 bug:追平 GPT-6,成本仅一半
PawelHuryn · x · 2026-09-23
作者在两个真实仓库中植入 105 个 bug,测试各家旗舰模型(max 档)的查找与修复能力,并统计成本:
- GPT-6 Astra (max):修复 45 个,花费 $33.03(取 3 次最好结果)
- Opus 5.5 (max):43 个,花费 $60.49
- Fable 5.1 (max):43 个,花费 $77.55
- Muse Spark 1.3 (max):32.2 个,花费 $18.11
- Opus 5.0 (max):27 个,花费 $51.33
结论:Opus 5.5 修复数与 GPT-6 Astra、Fable 5.1 基本持平,较上代 Opus 5.0(27 个)大幅提升,但单位成本仍高于 GPT-6。作者称后续将在推文线程中补充更多 effort 档位与多次尝试(n=3)的数据。
所属事件:Bug Hunt Bench 实测：GPT-6 登顶，MiMo 性价比惊艳(18 条相关)→
「编程与Agent」频道最新
- Plurai 发布 Agent 仿真测试插件:数字孪生让 Agent 先在虚拟世界翻车 — nikola_mr64990 · 2026-11-12
- Agent 说「Done」不等于真做完:Plurai 仿真核验实际行为 — nikola_mr64990 · 2026-11-12
- LlamaIndex 让 AI Agent 渗透测试自家 LlamaParse，四天暴露四条经验 — llama_index · 2026-11-12
- Manhattan 字体 v0.0.1：每个字母都是一个 Python 函数 — allanyu_ · 2026-11-12
- 用 Backplane「提示词造出」任意扩展卡,网友呼吁扩展口回归标配 — _Stocko_ · 2026-11-12
- Agent 会话跑了 51 分钟烧 24.8 万 token,网友直呼还在干活 — _Stocko_ · 2026-11-12