新基准 SWE Refactor Bench:Agent 全库重构存活率仅 5.4%
_akhaliq · x · 2026-08-25
Einsia 发布了 SWE Refactor Bench,这是一个针对长期视界、全仓库软件栈迁移的基准测试。测试包含 SQLite、zlib 等 20 个真实迁移任务(如 C 转 Rust)。在 520 次运行中,只有 28 次通过了所有阶段,存活率仅 5.4%,13/20 的任务无人解决。这表明虽然 AI 擅长修 Bug,但在系统级重构方面仍面临巨大挑战。
所属事件:SWE Refactor Bench 发布:AI 全库重构通过率仅 5.4%(4 条相关)→
「编程与Agent」频道最新
- Proof 发布 x401 协议,AI Agent 首次可证明自己代表谁 — csuwildcat · 2026-10-15
- 版本化引导加载模式:让 AI 生成代码永远指向最新可用版本 — NickPassig · 2026-10-15
- Amazon 封杀 AI 购物助手,Maritime 推 1 美元/月 Android MCP 绕过方案 — Scobleizer · 2026-10-15
- 开发者 vibe coding 出开源 Newsletter 平台,价格仅 Beehiiv 的 17% — marclou · 2026-10-15
- ERP AI 推出 Proto:让 AI agent 替你操作商业软件的'无头 SaaS' — Aiden_Tech_Ai · 2026-10-15
- 工程师主管必读清单:别让 Agent 摘要取代深度阅读 — rseroter · 2026-10-15