Bug Hunt Bench 实测:Sonnet 5.5 max 档分数 55.5、单次跑 134 美元
PawelHuryn · x · 2026-09-29
Pawel Huryn 的 Bug Hunt Bench(用真实预埋 bug 考核前沿编码模型,盲评、每仓库一次提示,共 105 个 bug)新增「分数 vs 轮次」对数坐标视图,并公开 Sonnet 5.5 各 effort 档数据:
- max:55.5 分,1330 轮,234.7 分钟,$134.79(n=2 均值)
- xhigh:39 分,588 轮,$60.30
- high:32 分,294 轮,$16.73
- medium:18 分,112 轮,$8.39
- low:20 分,119 轮,$5.75
对照 Sonnet 5 max 仅 9 分、411 轮、$17.96。整体画像:5.5 是一个「极其卖力」的模型,单轮快且便宜,但成本随 effort 档指数级上升——max 档分数是 low 档近 3 倍,价格却是 25 倍。榜单成本跨度约 200 倍,时间跨度不足 7 倍。
所属事件:Bug Hunt Bench:Sonnet 5.5 以 55.5 分领先但成本高企(5 条相关)→
「编程与Agent」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- ffmpeg-skill 爆火:42 个 FFmpeg 工具让编码 Agent 本地剪视频 — kajisho5 · 2026-11-16
- Every 团队实测 Claude Fable 5.2:让 agent 通宵跑大项目 — every · 2026-11-16
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- DeepSeek 开源官方 App 前端 chat-demo,3.9k 星 — NielsRogge · 2026-11-16