SWE Refactor Bench 发布:AI 全库重构通过率仅 5.4%

新基准 SWE Refactor Bench(arXiv:2608.23564)正式发布,将编码智能体的测试重点从修 Bug 升级为长时程、全仓库级的技术债迁移,包含 SQLite、zlib 等 20 个真实迁移任务(如 C 转 Rust)。520 次运行总通过率仅 5.4%,表现最好的 Opus 5 也仅得 47 分,全库重构几乎全军覆没,暴露出当前 AI 编码能力的明显短板。

2026-08-25 ~ 2026-08-27 · 4 条相关