首个验证代码库基准 Vero 发布：最强 Agent 成功率仅 63%
shizhediao · x · 2026-08-24
Dawn Song 团队发布了首个用于评估 AI Agent 在仓库级别进行联合实现和证明合成的基准 Vero。随着 AI Agent 编写软件的比例增加，仅能运行代码已不够，还需要机器可检查的正确性和安全性保证。
主要发现：
- 仓库级验证代码生成仍遥不可及：即使是最强的前沿 Agent，也只能完全验证 43 个真实世界代码库中的 27 个（约 63%）。
- 定义了新任务：联合实现和证明合成，要求 Agent 不仅生成代码，还要生成相应的形式化证明。
所属事件:Dawn Song 团队发布首个仓库级形式化验证基准 Vero(9 条相关)→
「编程与Agent」频道最新
- Claude 团队 Felix Rieseberg 长文：教人类用 AI 更有野心的四种方式 — daniel_mac8 · 2026-10-16
- 最快的 GPU kernel 会被 AI 写出来吗?发帖人称验证条件近乎完美 — fleetwood___ · 2026-10-16
- Anthropic 工程主管的四问 prompt，让 Agent 更有野心 — daniel_mac8 · 2026-10-16
- ChainForge 作者晒「特色地图」：用子 agent 分头开发大型 PR — IanArawjo · 2026-10-16
- aiDotEngineer 实测多种 Agent 编排管线，人类扮演 Foreman 调度五角色 — vikvang1 · 2026-10-16
- 用 Claude Code + Hyperframes 两小时量产 200 条视频 — mcraddock · 2026-10-16