SWE Refactor Bench 发布:C 转 Rust 全仓库迁移,Claude 验证器拦截过半提交
jiqizhixin · x · 2026-09-04
Einsia AI 旗下 Navers Lab 推出 SWE Refactor Bench,瞄准现有编码基准忽视的场景:长周期、整仓库级的技术栈迁移。
- 规模:20 个真实开源项目、86.7 万行代码、10594 个文件,任务是把整套系统从 C 重写为 Rust——接口一致、行为一致、旧代码全部删除。
- 工业级项目:包含 SQLite、zlib、libsodium、GraphHopper 等基础设施级代码库。
- 验证流水线:Agent 不仅要产出可编译代码,还要通过迁移审查、行为等价测试和对抗性漏洞检查的多阶段验证。
- 初步结果:最强的验证器(Claude Opus-5)能拦截超过 50% 的 Agent 提交,其他模型只能拦截约 24%;验证器发现漏洞的中位时间被截断,原文未完整给出。
「编程与Agent」频道最新
- AI 市场直播聚焦失控 agent 集群与合谋事件,Runway 联创将谈 Solaris 世界模型 — DhruvBatra_ · 2026-09-05
- 周末练手建议:用 AI 完整自动化一个你熟悉的工作流 — realmadhuguru · 2026-09-05
- 对比 Datadog 等多家后,开发者力荐 Pydantic Logfire — samuelcolvin · 2026-09-05
- vibe coding 没错,错的是与 agentic engineering 混为一谈 — bendee983 · 2026-09-05
- alliekmiller 分享 AI 科研工作流:先要假设再用数百 agent 验证 — alliekmiller · 2026-09-05
- 作者分享用 Grok bot 对接 Shopify 的实验进展 — billyjhowell · 2026-09-05