h1 论文印证苦涩教训:简单基线形式证明 harness 达 SOTA,多解 4 道 Erdős 题
burny_tech · x · 2026-11-03
KempeLab 团队的 h1 论文终于登上 arXiv(曾在 arXiv 被搁置 30 天),标题直指「自动化定理证明中的苦涩教训」。
研究缘起:作者受「test-time 可解锁能力」观察启发(如 think step by step → CoT → +RL = 推理模型),想验证 test-time 非对称自博弈能否解锁难题。选择 Lean 作为场景,因为只需陈述待证命题即可完全定义可验证任务。
核心发现:设计了一个「挑战者」分析多个「证明者」agent 轨迹并引导其做特化/泛化的想法,但每次精心调整和简化基线 harness,初始收益就会被抹平。最终胜出的是极简方案 h1:一个只给模型高效 Lean 4 接口、靠验证器反馈和自我反思持续工作的简单 agentic loop,不施加任何分解或搜索结构。
结果:这个简单基线达到 SOTA,并额外解决了 4 道 Erdős 问题。论文还讨论了形式验证必须跟上前沿模型产出研究数学的速度这一背景,指出新工作流的收益常与更强模型或更多算力混淆、难以回答苦涩教训问题。
所属事件:Meta 等发布极简 Lean 循环 h1,刷新 PutnamBench 纪录(5 条相关)→
「编程与Agent」频道最新
- Uber 开源思路详解 MCP Gateway:统一网关管住全公司 Agent 接入 — adnan_hashmi · 2026-11-03
- Claude Code 2.1.317 版本即将发布 — ClaudeCodeLog · 2026-11-03
- 1 万 agent 烧光 API 额度后,他改用 500 agent 分 50 波协作建项目 — Beneficial-Cow-7408 · 2026-11-03
- Walrus MCP Server 发布:让 AI 助手接入去中心化存储网络 — modelcontextprotocol · 2026-11-03
- News Volume Trends MCP:让 AI 直接查询任意话题的新闻量趋势 — modelcontextprotocol · 2026-11-03
- Pen 发布 Codex canvas 插件,给 ChatGPT 加设计能力 — paw_lean · 2026-11-03