新基准测智能体写形式化证明
OfirPress · x · 2026-07-09
Balaji Rao 等人发布了 s2n-bignum-bench，用来评测智能体在 HOL Light 中为 Amazon 的 s2n-bignum 仓库里的密码学汇编代码编写证明的能力。帖子提到，Codex 5.3 xhigh 目前只拿到 6.3% 的成绩，说明这个基准仍有很多可改进空间。
OfirPress · x · 2026-07-09
Balaji Rao 等人发布了 s2n-bignum-bench，用来评测智能体在 HOL Light 中为 Amazon 的 s2n-bignum 仓库里的密码学汇编代码编写证明的能力。帖子提到，Codex 5.3 xhigh 目前只拿到 6.3% 的成绩，说明这个基准仍有很多可改进空间。