SWE-sweep 基准发布:顶尖模型无监督找 bug 成功率不足 5%
OfirPress · x · 2026-10-01
- Ofir Press 团队发布 SWE-sweep 基准:测试语言模型在不告知哪里出错的前提下能否自主发现并修复 bug。
- 覆盖 100 个真实仓库、22 种语言、约 4k 个真实缺陷(含 numpy、PHP 解释器、Lean kernel)。
- 顶尖模型成功率 <5%,说明主动维护仓库所需的自主找 bug 能力还是空白。
- 作者认为该基准为未来 agent 设定了北极星目标,是最具挑战性的基准之一。
所属事件:Meta 等推出 SWE-sweep:最强模型自主找 bug 仅修 4.7%(6 条相关)→
「编程与Agent」频道最新
- 编码 agent 缓存撑爆硬盘,Plonge 一键安全清理帮 Mac 找回 40GB — JordanMorgan10 · 2026-11-16
- Teknium 提醒:勿用 900k 版 GPT 模型,272k 上下文后额外计费 — Teknium · 2026-11-16
- ChatGPT 商业 agent 实机首秀,agent builder 同步亮相 — gaganghotra_ · 2026-11-16
- Scenario 免费上线 AI 创作者学院:17 门课 90 课时覆盖图视音 3D — smtabatabaie · 2026-11-16
- 开源 AI 工程课自带 Agent 导师:装进 Claude Code 就能一对一授课 — ghumare64 · 2026-11-16
- 让 Claude 把自己装进你的 artifact,用户用量算各自的 — TawohAwa · 2026-11-16