105个埋Bug实测:Fable 5.1修43个花77美元,成本差近8倍
pakupdates85 · x · 2026-09-03
作者用 Bug Hunt Bench 在两个真实仓库上盲测各前沿编码模型,共 105 个预埋 bug,每仓库仅一次提示:
- Fable 5.1 (max):43/105,$77.55
- GPT-5.6 (max):42/105,$69.61
- Grok 4.6 (xhigh):27/105,$16.96
- Opus 5 (max):21/105,$51.33
- Gemini 3.8 Flash (high):20/105,$9.78
Gemini 3.8 Flash 虽非最强,但较上代 3.6 Flash 的 16/20 有明显提升,性价比突出。作者还指出 105 个 bug 中仍有 43 个未被任何模型修复;各模型成本差近 8 倍,修复数与花费严重不成正比。
所属事件:Bug Hunt Bench 实测:GPT-6 Astra 修 48/105 登顶(11 条相关)→
「编程与Agent」频道最新
- Every.to《Codex 是如何诞生的》公开采访原文供读者用 agent 核查 — every · 2026-10-21
- 航空业的数据溯源思路:智能体如何在图结构数据上拼证据 — colinmcnamara · 2026-10-21
- 让 Claude Code 独立执导 MV:6.5 小时、765M 输入 tokens 完成 — colinmcnamara · 2026-10-21
- 独立开发者用 YAML 流水线+Spot GPU+vLLM 把 AI 账单大幅砍掉 — cmm324 · 2026-10-21
- ML 大佬 Burkov 提醒:不逐项追问验收,编码 Agent 只会交出 80% 完成度 — burkov · 2026-10-21
- 微软 Self-HPO:编码智能体自己改写运行环境,成功率高涨 7 个百分点 — mark_k · 2026-10-21