SWE Refactor Bench：520 次运行仅 5.4% 通过，Opus 5 最高 47 分
YouJiacheng · x · 2026-08-26
新基准 SWE Refactor Bench 发布（arXiv:2608.23564），考察编码智能体能否自主完成长时程、全仓库级的技术债迁移（stack migration）。
现有基准只验证行为正确性，导致智能体可以靠「复制原实现让测试通过」作弊（作者称之为 Blindness）。新基准包含 20 个全仓库迁移任务、覆盖 4 类技术债，采用三阶段评估：
- Migration Audit 验证迁移确实发生；
- Behavioral Tests 用固定测试套件衡量行为正确性；
- Agentic Verification 用 6 个独立编码智能体生成针对性测试，捕捉隐藏行为差异。
结果：8 个前沿模型、26 种模型-努力配置共 520 次运行中，仅 28 次（5.4%）通过全部三阶段；20 个任务中有 13 个没有任何被接受的解；最强的 claude-opus-5 也只拿 47.0/100。论文指出迁移完整性与行为正确性是两种不同的能力。
所属事件:SWE Refactor Bench 发布：AI 全库重构通过率仅 5.4%(4 条相关)→
「编程与Agent」频道最新
- Vercel 后端升级:Python 正式 GA,新增容器与 Daemons — cramforce · 2026-10-16
- WorldMemArena 中选 NeurIPS:存储式 Agent 记忆评估遭颠覆 — xwang_lk · 2026-10-16
- Vercel Ship 现场宣布容器部署,Go/Ruby/Java 皆可上 — edwin · 2026-10-16
- TRL 零时差支持 Muse Spark Open：64 张 H100 上 LoRA 微调 816B MoE — QGallouedec · 2026-10-16
- 工程师入职首日全靠 AI 提问，第二天就能提交有影响力的 PR — Yuchenj_UW · 2026-10-16
- Perplexity 开源支撑其 Computer 产品的智能体沙箱平台 SPACE — AravSrinivas · 2026-10-16