Meta 等推出 SWE-sweep:最强模型自主找 bug 仅修 4.7%
Meta 联合哈佛、斯坦福、华盛顿大学(UW)等机构研究者推出新基准 SWE-sweep,把传统编码评测的前提反转:不给模型任何工单或 bug 位置提示,直接把真实代码库交给 agent,要求其自主发现并修复尽可能多的隐藏 bug。结果显示最强模型仅修复 4.7%,说明模型在「主动找 bug」上仍远未实用。代码已在 GitHub 开源。
已确认
- 基准由 Meta(Superintelligence Labs / Meta Code 团队)与 Harvard、Stanford、UW 等机构研究者联合推出,Ofir Press 与 Jack Rae 等人均有参与或转发介绍
- 覆盖 100 个真实仓库、22 种语言、约 4.1k(4100+)个真实缺陷,包含 numpy、PHP 解释器等项目
- 评测设定与 SWE-bench 类基准相反:不告知哪里出错,模型需无监督地自行发现并修复 bug
- 顶尖模型无监督找 bug 的成功率不足 5%,最强模型仅修复 4.7%
- 基准代码已在 GitHub 开源(facebookresearch/swe-sweep),是 Harbor 的轻量封装,包含评测任务与自动验证环境,可直接复现评测
为什么重要
- 现有 SWE 类基准只考察「按工单修复已知 bug」,而真实工程中更有价值的是在用户踩坑前主动发现问题,SWE-sweep 填补了这一评测空白
- 4.7% 的成绩表明当前最强模型距离可靠的自主代码审查/找 bug 仍有巨大差距,为该方向研究提供了明确的改进空间
2026-10-01 ~ 2026-10-03 · 6 条相关
一手来源
- SWE-sweep 基准发布:顶尖模型无监督找 bug 成功率不足 5% — OfirPress ·
- Meta 团队发布 SWE-sweep:100 个仓库 4.1k 真实 bug,最强模型仅修复 4.7% — OfirPress ·
- SWE-sweep 基准代码开源:facebookresearch 仓库可直接复现评测 — OfirPress ·
- 【源头】SWE-sweep 基准发布:顶尖模型无监督找 bug 成功率不足 5% — OfirPress · 2026-10-01
- 【源头】Meta 团队发布 SWE-sweep:100 个仓库 4.1k 真实 bug,最强模型仅修复 4.7% — OfirPress · 2026-10-02
- 【源头】SWE-sweep 基准代码开源:facebookresearch 仓库可直接复现评测 — OfirPress · 2026-10-02
- Meta 推出 SWE-sweep 评测:让 Agent 在真实代码库自主找 bug — jack_w_rae · 2026-10-02
- SWE-sweep 新基准:考模型能否在用户踩坑前主动找出 bug — klieret · 2026-10-02
另有 1 条近重复转述:klieret