Bug Hunt Bench 实测:Fable 5.2 修 58/105 个真实 bug 居首
PawelHuryn · x · 2026-11-10
Pawel Huryn 用两个真实仓库、105 个真实漏洞对前沿编码模型做盲测(Bug Hunt Bench),结果:
- Fable 5.2 (max):58/105,成本 $139.65,用时约 142.8 分钟
- Sonnet 5.5 (max):51.3/105,成本 $154.03,用时 2871 分钟
- GPT-6 Astra (max):45/105,成本 $33.03
- GPT-6.1 Sol (max):44.3/105,成本仅 $5.88
- Opus 5.5 (max):41.7/105;$58.53
Fable 5.2 三次运行(56、53、65)全部超过 Sonnet 5.5 平均分,且每轮仅约 707 步,Sonnet 需 1497 步,花费还不到一半。榜单采用不同家族模型做盲校准评审,只计「彻底修复」的漏洞;部分模型(如某些 OpenAI 模型)会报告大量无关真实问题刷分,不计入。DeepSeek V4.1 Flash 1017 max 得 42.7 分、成本仅 $1.84,性价比突出。
所属事件:Bug Hunt Bench 实测：Fable 5.2 修 58/105 漏洞居首(3 条相关)→
「编程与Agent」频道最新
- 用「心智模型」当 LLM 先验：研究者称可避开日常使用陷阱 — Sauers_ · 2026-11-10
- 开源项目 Busy 一键部署专属 AI 团队：数据、模型、机器人全归你 — evilrabbit_ · 2026-11-10
- 从执行轨迹学习裁剪工具输出,实测可省 56% 计费 token — solyarisoftware · 2026-11-10
- Fable 5.2 接 ElevenLabs MCP:同一游戏两次生成,音效天差地别 — mhdfaran · 2026-11-10
- 用单个 Dr Eggbot 管理全部 Grok Bot：附审查合并与退役规则 — bfrench · 2026-11-10
- Kimi K3.1 Pro 上线 Microsoft Foundry，实测 Agent 与工具调用可用 — lee_stott · 2026-11-10