reuF2F 基准：244 道 REU 数学开放题,最强模型也只解出 109 道
wellecks · x · 2026-10-20
研究者发布 reuF2F 基准：随着 LLM 开始大规模证明数学猜想，验证成为瓶颈，Lean 形式化提供出路。该基准收集 244 道来自美国本科生研究项目（REU）的开放数学问题，覆盖广泛数学领域，全部由专家用 Lean 形式化。团队还构建了极简编码 agent Leanimum-agent，让所有模型在同一评测框架下端到端比较。结果显示表现最好的模型也只解决了 244 题中的 109 题。附图展示各模型 pass@1 与单题成本（对数坐标）的对比：Gemini 4 Argon 与 Claude Opus 5.5 处于约 40%+ 的高分区但单题成本 5–15 美元，GPT-6.1 Sol 在约 1.5 美元成本下达 40%，Kimi K3、Qwen3.8-Max、Gemini 3.8 Flash 等则在 10% 以下。
所属事件:reuF2F 基准实测：最强模型仅解出 109 道 REU 开放题(2 条相关)→
「模型」频道最新
- 审计发现 Terminal Bench 4 已近饱和：65 个任务 60 个有问题 — scaling01 · 2026-10-20
- Skyfall 发布模型 Sky-001：宣称比 Astra 快 100 倍、便宜 150 倍 — Distinct-Question-16 · 2026-10-20
- DeepSeek-V4 答案随 4 token 周期翻转，chunked KV 压缩是元凶 — Francis_YAO_ · 2026-10-20
- vLLM 生态发布 d3-turbo:多模态决策模型提速 15 倍登顶 Jev 榜 — vllm_project · 2026-10-20
- 网友据官方代码绘制 MOSS 5B 架构图并开源 — TheLatentExplorer · 2026-10-20
- 用户直言:OpenAI 出更好模型就立刻叛逃,毫无忠诚 — Angaisb_ · 2026-10-20