Sonnet 5.5(max) 三轮长跑:单轮 1833 turns、最长 6.5 小时、花费 $192
PawelHuryn · x · 2026-09-30
PawelHuryn 公布 Sonnet 5.5 (max) 在两个仓库上第三轮自主 agent 长跑数据,三轮结果差异显著:
- Run 1:得分 57,1,566 turns,258 分钟,$154.05
- Run 2:得分 54,1,093 turns,212 分钟,$115.55
- Run 3:得分 43,1,833 turns,392 分钟,$192.52
分数与轮次/耗时并未正相关:Run 3 跑了最多 turns、耗时最久、花费最高,得分反而最低,凸显长程自主任务的高方差与成本不可预测性。作者还发布了 score vs. turns 的对数刻度可视化,模型可在筛选器中调整对比。
所属事件:Bug Hunt Bench:Sonnet 5.5 以 55.5 分领先但成本高企(5 条相关)→
「编程与Agent」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- ffmpeg-skill 爆火:42 个 FFmpeg 工具让编码 Agent 本地剪视频 — kajisho5 · 2026-11-16
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- DeepSeek 开源官方 App 前端 chat-demo,3.9k 星 — NielsRogge · 2026-11-16
- lemire:AI 改变编程的不是速度,而是扩大工程师的「认知半径」 — lemire · 2026-11-16