首个 Verus 形式验证基准发布,GPT-6 Astra 以 59.1 分居首
fhuszar · x · 2026-11-17
Reasonable 团队发布 Verus Proof Index,迄今最全面的软件形式验证基准:让 25 个模型作为自主 agent,在 100 道 Verus 证明题上生成通过验证器检验的形式化证明。
- 题目来源:VerusBench、VeruSAGE-Bench 公开数据集 + 内部 tlaverus 数据集(未公开,可排除训练污染),涵盖已验证系统代码、由 TLA+ 转译的分布式协议和小型程序
- 评分维度:除正确性外还计效率——生成一个通过证明所需的 token 数与轮次,因为「最终能证出来」远非实用性的全部;每题一次运行,可反复根据验证器反馈修改,1-2 分差异可能是噪声
- 排名要点:GPT-6 Astra(OpenCode harness)以 59.1 指数居首,解出 94 题、成本 $224;Claude Fable 5.1 和 Claude Opus 5.5 以 58.7 / 58.2 紧随其后,Opus 5.5 正确性最高(58.2)且无诚信违规、成本仅 $232;Gemini 4 Argon 效率加分最高(+4.6)但成本 $543;开源与闭源模型同台评测,并对每条证明独立检查完整性违规
这是该团队系列基准的第一个,主打量化 agentic 证明生成能力。
「编程与Agent」频道最新
- MIT 研究者开源 Spaceship:60 FPS 实时转向 LLM 输出的写作工具 — RileyRalmuto · 2026-11-17
- 博主实测 T3 Code:可切换 Codex 与 Claude Code 的编码客户端 — vista8 · 2026-11-17
- Hermes 智能体现在能加入 Zoom/Meet/Teams 会议并自动写纪要 — alexcovo_eth · 2026-11-17
- 博主实测:Astra 做调研总跳步,carbon 慢但踏实或任主控 — lxfater · 2026-11-17
- AWS 开源本地模拟器:编码 Agent 无账号可测 200+ 服务 — bestvicam · 2026-11-17
- OpenAI Codex 社区活动落地印度浦那,12 月 12 日举办 — paw_lean · 2026-11-17