Meta 推出 SWE-sweep：4100 个真实 bug，最强模型仅解 4.7%
eliebakouch · x · 2026-10-19
Meta Superintelligence Labs 联合哈佛、华盛顿大学、斯坦福发布新基准 SWE-sweep：给定 100 个真实仓库共 4100 个 bug，agent 在无任何提示下自行发现并修复，考察开放式排障能力。
首期榜单（统一用 mini-SWE-agent）：
- OpenAI Sol 5.6 (xhigh) 以 4.7% 解决率居首，但成本高达 $7,230（$72.3/仓库）
- Luna 5.6 (xhigh) 2.5% 第二，仅花 $224，性价比突出
- Anthropic Opus 5 (xhigh) 1.3%，耗资 $5,363、323 轮对话
- Kimi K3 0.6%（$2,451），Gemini 3.5 Flash Lite 仅 0.1%
整体解决率极低，说明大规模代码库中的开放式 bug 定位与修复仍是硬骨头。作者 eliebakouch 转发时还引用了「Anthropic 即将发布 Fable 5.5」的媒体爆料截图（称其在推理与洞察用户真实意图上强于现有 Anthropic 商用模型，能从修一个 bug 推广到修复整类问题），该消息未获证实。
「模型」频道最新
- 新决策模型 basal-omni-1.0-ultra 号称逼近前沿智能且成本极低 — tristanbob · 2026-10-20
- 时隔434天复测:ChatGPT与Claude仍无法渲染JavaScript内容 — gaganghotra_ · 2026-10-20
- 第三方评测：Dream-1 机器人控制便宜 16 倍、快 1.7 倍登顶 RoboDojo — scott_e_reed · 2026-10-20
- 花 0.08 美元实测 DeepSeek 搜索 API：权威分靠主机，垃圾过滤漏网 — gaganghotra_ · 2026-10-20
- Meta Muse Wonder 登顶 DeepSWE 榜：78.8% 领先 Opus 与 GPT-6 — AccBalanced · 2026-10-20
- 推理服务商版 CAP 定理：可靠性、成本与速度三者难兼得 — AccBalanced · 2026-10-20