Meta 等发布 SWE-sweep:让 agent 主动找 bug 而非修已知 bug
klieret · reddit · 2026-10-03
来自 Meta、Stanford、Harvard、UW 的研究者发布了 SWE-sweep——一个测试模型能否在用户踩到 bug 之前主动发现并修复的新基准。
- 设定:给 agent 一个完整代码库,要求自主 find & fix 尽可能多的 bug;按仓库中预先掌握的隐藏真实 bug 集打分。
- 严格过滤:只保留仅靠读代码就能发现和修复的真实世界 bug,排除需要运行时才能暴露的问题。
- 初步观察:榜单分数比预期低很多;修复整个 numpy 这类任务接近超人类难度,但不少小仓库上模型表现也不如预期;成本效率上 Luna xhigh 目前领先。
- 全部开源(MIT),后续将补充更多开源权重模型的成绩。
所属事件:Meta 等推出 SWE-sweep:最强模型自主找 bug 仅修 4.7%(6 条相关)→
「编程与Agent」频道最新
- 开源工具 Switch Buddy:让 Claude Code、Codex 等智能体同房间协作 — anthara_ai · 2026-11-19
- 斯坦福 CS329Z 讲座:DSPy 与 LangGraph 的 Agent 框架路线对比 — stanfordnlp · 2026-11-19
- Mistral Large 4 编码实测:2 小时仅耗 0.82 欧元额度 — qtnx_ · 2026-11-19
- Railway 遭 breach 后追踪发现:同一 LLM 攻击基础设施仍在攻击其他公司 — cyb3rops · 2026-11-19
- HF 与 LangChain 办黑客松:用 AI 智能体复现 NeurIPS 2026 论文 — Gradio · 2026-11-19
- NVIDIA 开源 SkillEvaluator:部署前实测 AI Agent 技能可靠性 — anthara_ai · 2026-11-19