105 个真实 Bug 实测:Sonnet 5.5 以 55.5 分大幅领先一众旗舰
PawelHuryn · x · 2026-09-29
PawelHuryn 公布了一项找 bug 基准结果:在 2 个真实代码仓库、共 105 个 bug 上让各模型查找并修复。
主要成绩(满分按修复数量计):
- Sonnet 5.5 (max):55.5
- GPT-6 Astra (max):45
- GPT-5.6 Sol (max):43.5
- Fable 5.1 (max):43
- Opus 5.5 (max):41.7
- Sonnet 5.5 (xhigh):39
关键发现是「不偷懒」的代价:Sonnet 5.5 (max) 用约 1,330 turns(Astra 的 6 倍、Opus 5.5 的 3 倍)换来了多修 10–14 个 bug;而 xhigh 模式把 turns 砍掉一半以上,成绩反而掉到 Opus 5.5 之下。测试在带变异测试验证的流水线中运行,单个仓库跑了 2 小时以上、854 turns,作者计划每个配置至少重复 2 次取平均。
所属事件:Bug Hunt Bench:Sonnet 5.5 以 55.5 分领先但成本高企(5 条相关)→
「编程与Agent」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- ffmpeg-skill 爆火:42 个 FFmpeg 工具让编码 Agent 本地剪视频 — kajisho5 · 2026-11-16
- Every 团队实测 Claude Fable 5.2:让 agent 通宵跑大项目 — every · 2026-11-16
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- DeepSeek 开源官方 App 前端 chat-demo,3.9k 星 — NielsRogge · 2026-11-16