ReuF2F 基准发布：244 道本科开放数学题，最强模型仅解出 109 道
wellecks · x · 2026-10-21
- 研究团队在 arXiv 发布 ReuF2F 基准：从美国本科生研究计划（REU）中收集 244 道开放数学问题，由专家用 Lean 4 形式化，覆盖多个数学子领域。
- 动机：随着 LLM 开始大规模尝试证明猜想，验证成为瓶颈；知名开放问题一旦被解出并广泛传播就难以再做可靠评测，而 REU 这类低关注度开放问题更适合作为 held-out 端到端评测。
- 团队还构建了极简编码 agent Leanimum-agent，让所有模型在同一 harness 下公平比较；评测采用将问题及其逻辑否定一同放入 Lean 的标准编码 agent 设置。
- 结果：表现最好的模型也只解决了 244 题中的 109 道，显示 agent 在端到端形式化开放问题求解上仍有明显差距。
- 作者包括 Sean Welleck、Jeremy Avigad、Prasad Tetali 等（arXiv:2610.27046）。
所属事件:reuF2F 基准发布：244 道 REU 开放数学题，最强模型仅解出百余道(6 条相关)→
「编程与Agent」频道最新
- Astral 用 AI agent 补丁分叉优化 rustc，提速 30-40% — charliermarsh · 2026-10-21
- 为了能编译，直接重写依赖：agent 时代才敢做的取舍 — charliermarsh · 2026-10-21
- Astral 公开 rustc 全家桶分叉：agent 写补丁优化开发体验 — charliermarsh · 2026-10-21
- Ruff 作者点评多款 Rust 快速迭代编译器：Rust JIT 想法值得关注 — charliermarsh · 2026-10-21
- 快速编译 Rust 的代价：无 borrow checker、行为可能与 rustc 不一致 — charliermarsh · 2026-10-21
- rustd 押注 Rust Analyzer 增量基建，追求编辑后秒级重编译 — charliermarsh · 2026-10-21