Meta 团队发布 SWE-sweep:100 个仓库 4.1k 真实 bug,最强模型仅修复 4.7%
OfirPress · x · 2026-10-02
Meta Superintelligence Labs 联合哈佛、UW、斯坦福推出新基准 SWE-sweep:给定真实仓库,agent 在无任何 bug 类型或位置提示下自行发现并修复尽可能多的 bug,共覆盖 100 个仓库、4100 个 bug。
首期排行榜(均用 mini-SWE-agent)要点:
- Sol 5.6 (xhigh) 以 4.7% 修复率居首,但花费高达 $7,230(每仓库约 $72.30、233 轮交互)
- Luna 5.6 (xhigh) 修复 2.5%,成本仅 $224,性价比突出
- Opus 5 (xhigh) 修复 1.3%,成本 $5,363
- Kimi K3 修复 0.6%,花费 $2,451
项目官网 swesweep.com 含排行榜与论文,代码完全开源。作者 Ofir Press 回应社区质疑时表示,已加入自动检查机制确保修复不引入回归。该基准揭示:即使最前沿模型,在大规模真实代码库中自主找 bug 的能力仍非常有限。
所属事件:Meta 等推出 SWE-sweep:最强模型自主找 bug 仅修 4.7%(6 条相关)→
「编程与Agent」频道最新
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16
- AI 模型一言不合删掉 4.3 万行测试代码,diff +90/-43,599 — vincent_koc · 2026-11-16
- 摩根大通展示内部 agent 流水线 Jarvis:数月工作缩至几分钟 — LangChain · 2026-11-16
- 开发者澄清:App Store 并未全面禁用 Feature Flags — talkaboutdesign · 2026-11-16
- 用户实测:Google Antigravity 效果不输 Claude Cowork,Gemini Tasks 定位存疑 — sebajun2 · 2026-11-16