SWE Refactor Bench 发布:AI 全库重构通过率仅 5.4%
新基准 SWE Refactor Bench(arXiv:2608.23564)正式发布,将编码智能体的测试重点从修 Bug 升级为长时程、全仓库级的技术债迁移,包含 SQLite、zlib 等 20 个真实迁移任务(如 C 转 Rust)。520 次运行总通过率仅 5.4%,表现最好的 Opus 5 也仅得 47 分,全库重构几乎全军覆没,暴露出当前 AI 编码能力的明显短板。
2026-08-25 ~ 2026-08-27 · 4 条相关
- 新基准 SWE Refactor Bench:Agent 全库重构存活率仅 5.4% — _akhaliq · 2026-08-25
- SWE Refactor Bench:520 次运行仅 5.4% 通过,Opus 5 最高 47 分 — YouJiacheng · 2026-08-26
- 新基准 SWE-Refactor-Bench 暴露 AI 编码软肋:全库重构全军覆没 — 机器之心 · 2026-08-27
- SWE Refactor Bench:编码 Agent 能否完成长周期仓库迁移? — Deyao Hong · 2026-08-27