SWE-Together 榜单更新:Claude Fable 5 登顶,Muse Spark 1.3 成性价比之王
shuchaobi · x · 2026-09-11
SWE-Together 是一个含 109 个真实编码任务、带模拟用户在环的编码智能体基准,本次更新揭示了几组关键结论:
- Claude Fable 5 登顶(judge 61%),5.1 以 57% 紧随其后。两者巅峰表现相当,差距在稳定性:Fable 5.1 有 14 次试验得零分,Fable 5 只有 6 次。但 5.1 快 25%、便宜约 2 倍、需要的用户纠错也略少(1.45 vs 1.53 次/任务)。
- Meta Muse Spark 1.3 是性价比离群值:每解决一个任务的成本约为 Fable 5.1 的 1/2.5、Fable 5 的 1/5,性能上接近中游(47%)。
- 榜单上还有 claude-opus-4.8(52%)、gpt-5.5(48%,token 消耗最低之一)、glm-5.2(42%)、deepseek-v4-pro(29%)、minimax-2.7(24%)等。
- 基准用 opencode harness,k=2,同时报告 pass@1 与 pass²(两次都成功),悬空部分代表不稳定。
「编程与Agent」频道最新
- Nitrosend 让 Grok Bot 自主接管邮件营销:一条 SKILL.md 全自动配置 — nikvassev · 2026-10-28
- Claude Opus 5.5 从二进制重建 SQLite 等程序,ProgramBench 得分 18.5% — winer666 · 2026-10-28
- Pichai 自述用内部 Agent 汇报训练进展与算力遥测 — rohanpaul_ai · 2026-10-28
- Amazon 重写 SDE 角色指南:定义「文艺复兴开发者」时代 — prdeepakbabu · 2026-10-28
- 社区插件 Kinocut 让 Hermes Agent 本地剪辑视频,无需 API key — alexcovo_eth · 2026-10-28
- 不开向量检索也能拿 86.67%,开源记忆层 Mind 挑战 embedding 必要性 — GabrielMartinMoran · 2026-10-28