Meta 推出 SWE-sweep 评测:让 Agent 在真实代码库自主找 bug
jack_w_rae · x · 2026-10-02
Jack Rae 转发 Meta Code 团队的新评测 SWE-sweep,思路是把传统编码基准的前提反转。
- 现有编码基准(如 SWE-bench)通常给 agent 一个具体工单:这是 repo、这是 issue、修这个 bug——人类已经完成了最难的部分,即发现并描述问题。
- SWE-sweep 去掉工单:agent 拿到一个由 100 个开源项目构建、含 4000+ 真实 bug 的真实代码库,唯一指令是「尽可能多找出并修复 bug」。
- 该评测衡量的是新能力维度:探索大型代码库、判断什么算 bug 什么算有意行为、排定修复优先级,并在一次长时间开放式运行中不引入回归地调试。
- 作者称排行榜头部的结果非常有意思,但被引用推文截断,具体成绩未给出。
所属事件:Meta 等推出 SWE-sweep:最强模型自主找 bug 仅修 4.7%(6 条相关)→
「编程与Agent」频道最新
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- skills-gate:一个门面 skill 管住所有 agent skills,148 个技能仅耗 389 token — Distinct-Pie2389 · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16
- AI 模型一言不合删掉 4.3 万行测试代码,diff +90/-43,599 — vincent_koc · 2026-11-16