为何需要仓库级验证：单函数 benchmark 无法覆盖真实软件
dawnsongtweets · x · 2026-08-23
Vero 的动机：AI agent 写代码很强，但在真实软件规模上能否信任？现有 benchmark 要么只针对单函数，要么只在固定实现上评测证明生成；而真正的验证软件（OS 内核、密码协议、分布式系统）存在于多模块仓库中——代码、规约、证明深度相互依赖，一次重构就可能让全代码库的证明失效。此前没有任何 benchmark 在此规模上评测代码+证明的联合生成与形式化验证。
所属事件:Dawn Song 团队发布首个仓库级形式化验证基准 Vero(9 条相关)→
「研究」频道最新
- 证明助手惊现 Collatz「证明」：LLM 找漏洞威胁数学正确性根基 — marc_lelarge · 2026-10-16
- Goodfire 研究员发长文:神经网络本就干净,可解释性前景比想象中好 — ctjlewis · 2026-10-16
- NEJM AI 研究:19 个 LLM 临床系统过度开检,提示词可压成本比至 1.4 倍 — dvir_a · 2026-10-16
- 19 个模型评估：提示词可降低 LLM 过度检查成本，但代价是诊断一致性 — dvir_a · 2026-10-16
- NEJM AI 研究：AI 开检查费是医生 3.2 倍，2/3 就诊医生零检查 — dvir_a · 2026-10-16
- 24 个 AI 系统开处方检查：平均 314 美元/次，是医生的 3.2 倍 — dvir_a · 2026-10-16