实测 Gemini 4 Carbon 修真实 bug:57.3 分仅花 31 美元,紧咬 Fable 5.2
PawelHuryn · x · 2026-11-11
作者在两个真实仓库、105 个重新植入的真实 bug 上盲测各前沿模型的「找到并修复」能力,只统计真正修好的 bug,并回应了常见疑问:
- 成绩与成本:Fable 5.2(max)得 58 分、花费 $139.65;Gemini 4 Carbon(high)以 $31.32 得 57.3 分,性价比突出;Sonnet 5.5(max)51.3 分、$154.03;GPT-6 Astra(max)45 分、$33.03;GPT-6.1 Sol(max)44.3 分、仅 $5.88。
- 判定方法:盲评法官均来自不同模型家族,对照私密答案评分;未植入的假 bug 不计分(防止 OpenAI 模型靠乱报不相关 bug 刷分)。
- 细节:Carbon 是 3 次运行的均值(58/62/52),Fable 5.2 为 56/53/65;Sonnet 5.5 靠比 GPT-6 Astra 多 7 倍的轮次拿下该成绩;API 的 xhigh/max 档实际会回落到默认档。
「编程与Agent」频道最新
- Supabase 接入 Expo EAS CLI，一条命令打通全部环境后端 — dshukertjr · 2026-11-11
- AI 重写旧软件有多容易？Orosz 引爆讨论，网友列出三大重写清单 — _philschmid · 2026-11-11
- 前 Meta 研究员预测：SWE token 市场将现 1500-2000 亿硬上限 — DimitrisPapail · 2026-11-11
- ComfyUI 挑战赛冠军 ComfyArt:开源全本地 AI 设计画布上线 GitHub — bfl_ai · 2026-11-11
- 放下自建 harness 让 agent 自己优化：重启恢复率从 5 升至 77 — AccBalanced · 2026-11-11
- 一张儿童游戏室照片变成赛车游戏，AI 还加码扩建成全屋 — every · 2026-11-11