The Endless Exam: Mathematical Constructions from Today's Models toward Superintelligence
Muhan Zhang
cs.AI, math.HO
2026-09-21
Endless Exam 给数学构造题打不封顶的分；九个模型无一打破 30 项公开纪录，带工具的 Opus 5.5 总分 180。
基准饱和已经成了评测的现实约束。论文引用的研究数了 60 个语言模型基准，29 个处于高或极高饱和；ARC-AGI-3 SemiPrivate 上 GPT-6 Astra 刚被报出 99.9%。题目一旦被摸到天花板，二值的对错分就分不出头部模型，评测需要「考满之后还能继续量」的题。
数学构造题天然合适：构造一个满足约束、目标值越大或越小的对象，合法性由程序判定，质量直接可算，不请模型裁判；改一个参数(维数、度数、码长)就出一道更难的新题。余量也真实：七色 Schur 划分的已证上界是最优已知构造的 8.1 倍，F5^6 上无等差集合是 11.6 倍，最优大小均未知。
Endless Exam 收了 14 个参数化构造家族、69 个实例(bench-v1.0),覆盖 cap set、Schur 染色、有限域无等差集合、度数-直径图、Shannon 与 trifference 码、Heilbronn 布点、覆盖设计、矩阵乘法等。打分一条公式：相对质量 = 构造目标值 ÷ 参考值，最小化题取倒数；1 为打平，超过 1 继续涨、不截断，无效答案记 0。总分是 69 题平均乘 100。30 题的参考取文献公开前沿，39 题用论文自带、已验证的构造基线，作者明说基线可能弱于公开最好构造；另有 gap closed 指标，量从参考到已证上界的对数进度。
不封顶是为了纪录破了之后分数仍可比。八色 Schur 是现成例子：以历史参考 5041 为分母，后续构造做到 5286 和 5362,相对质量 1.049 和 1.064;只记「是否破纪录」，两次进步会塌成同一个 1。
验证只看对象本身的数学性质，说服性文风骗不了分。超大对象走紧凑证书：Shannon 码只交有限因子，验证器核对后连乘出精确规模，本次评测认证过超一万亿码字的提交；trifference 码交生成矩阵，用超平面判据核对分离条件，不枚举 3^k 个码字。两套独立实现的验证器在全部模型答案和 69 个参考上结论一致。无工具轨每题一次回答、128k 输出 token(含推理)；工具轨给 Astra、Luna、Opus 5.5 高推理档配代码执行与联网，4 核、16 GiB、2 小时墙钟。
| 配置 | 总分 | 公开前沿组相对质量 | gap closed |
| Qwen3.5-4B high | 7.55 | 0.07 | 0 |
| GPT-6 Astra high,无工具 | 91.90 | 0.76 | 1.6% |
| GPT-5.6 Luna high + 工具 | 119.35 | 0.961 | 4.7% |
| GPT-6 Astra high + 工具 | 143.16 | 0.998 | 6.3% |
| Claude Opus 5.5 high + 工具 | 180.06 | 0.985 | 7.5% |
总分 100 等于平均打平参考，公开前沿组相对质量 1 等于打平纪录。14 种无工具配置在 30 个公开前沿实例上突破率全部为 0;带工具的 Astra 打平其中 29 题、一项未超。超过 100 的分数全部来自 39 个基线题：Opus 在基线组均值 2.43,优势集中在 Heilbronn 和长度 64 的 trifference,公开前沿组反而是 Astra 更高(0.998 对 0.985)。
工具增益大：Astra 91.90 涨到 143.16,两轨都是 69/69 有效；Luna 34.85 涨到 119.35,有效答案 47 变 66;Opus 69.81 涨到 180.06。推理预算并非越多越好：Fable 5.1 从 medium 拉到 high,总分 71.90 掉到 43.73,69 题里 32 题耗尽 128k 预算，没交出完整构造。
规模变大后质量普遍下滑：最大度 3 的图在直径 10 处，Astra 平均 0.30,Luna 0.17,Qwen3.8-27B 0.09,DeepSeek V4.1 Flash 0.00。也有扛住的：trifference 长度 64 上，带工具的 Astra 交出 11 行生成矩阵，3^11 = 177,147 个码字，是基线的 9 倍；cap set 12 维上，Astra 把两个 112 点 cap 做笛卡尔积得到 12,544 点，相对质量 0.97,但只到已证上界 50,571 的 24.8%。带工具的 gap closed 最高 7.5%,离理论上限还有一个数量级。
这是一套为「考满之后」准备的数学评测，扩容路径长在题目结构里：同一题内继续提质量，或调大参数出难题。分数不封顶，FunSearch、AlphaEvolve 这类发现系统和大模型能上同一把尺子比。验证无裁判、开销低、可复现，生成器、验证器、参考构造和模型回答全部开源。现状也要说清：今天的模型带工具能大面积打平公开纪录，但一次没破，这套基准眼下交付的是测量基础设施，不是新榜单。
作者自述：每题每配置只跑一次，跑间方差没测，实例 bootstrap 置信区间不覆盖它；答案格式限制可表达的构造，长度 64 的 trifference 最多表达 3^12 = 531,441 个码字，相对质量封在 27,是表示上限，不是数学上限。读下来另有两点。39 题的参考是作者自建基线且可能偏弱，总分却把两类参考混着平均，Opus 的 180 对 Astra 的 143 这个排名主要由基线组驱动；带工具的 Astra 已打平 29/30 个公开前沿，这一组的区分度正在耗尽，往后分头部要靠基线组和更大参数。另外这是单作者论文，复现声明写明文献调研、代码、推导和写作大量借助了 LLM。