h1 框架登顶形式化定理证明,单一模型长尝试胜过手工设计
ylecun · x · 2026-10-13
KempeLab 发布关于自动定理证明(ATP)SOTA harness 的新论文,Richard Sutton 转发并称之为「苦涩教训」的又一例证。核心思路:与其手工设计 AI 的证明流程(分解、规划、分配 agent),不如直接给前沿模型良好的 Lean 反馈让它持续工作。
- h1 是一个极简 baseline harness,在形式化定理证明基准上达到 SOTA
- 能解决开放猜想(open conjectures)
- 匹配甚至超越手工设计的工作流
- 关键发现:单次长尝试可以胜过多次重试
作者自嘲式的「最苦涩教训」是:他们本想证明非对称自博弈(asymmetric self-play)对 harness 的收益,结果每次都被自己改进过的 baseline harness 打败——于是 h1 这个简单基线本身成了论文的 bitter lesson。
「编程与Agent」频道最新
- 开源项目 Open Dots 上线 Muse Wonder,可自托管替代多家付费 AI Agent — matchaman11 · 2026-10-13
- 开发者用 AI 花三天做出多人卡丁车游戏 Acorn Rally,已可在线试玩 — AIandDesign · 2026-10-13
- OpenAI Agents API 推出沙箱预热,大幅降低 Agent 启动延迟 — OpenAIDevs · 2026-10-13
- GitHub 安装 token 变 520 字符,你的校验正则可能悄悄失效 — DanWahlin · 2026-10-13
- 求助:能否用 MCP 打通 Claude Design 与 Claude Code 双账号 — Acbuyys · 2026-10-13
- Agent 团队实战:把公司真相写进文件流,让智能体代替你开会 — rseroter · 2026-10-13