Scaling Mathematical Proof Supervision from Structured Textbooks
Youqing Fang, Zhouqi Hua, Yinhao Tang, Yuzhe Gu, Lingkai Kong, Bin Liu, Weiming Zhang, Kai Chen, Yanan Sun, Wenwei Zhang
cs.CL, cs.AI
2026-10-30
2118本教材被整理成38万条带章节与命题依赖的证明题,微调Qwen3-30B后六项均分从29.17升至45.83。
进训练集的数学监督,大多是孤立的「一题一解」。竞赛题、网页习题和合成数据来源不同,进模型前都变成这种形状。教材按另一套逻辑写:定义引出概念,引理和定理沿先修关系展开,章节顺序就是课程本身。以往多用教材做预训练文本或题库,目录、引用和被「显然」跳过的步骤没有进监督。孤立问答像抽掉目录的卡片。
TOME-Math 留下这套目录。中国科学技术大学、上海人工智能实验室、复旦大学、上海交通大学从 2118 本大学教材、29 个学科抽出 380,292 条证明问答,保留章节顺序、命题与证明的对应、依赖引用和出处。
DeepSeek-OCR 把 PDF 转成 Markdown。gpt-oss-120b 按页恢复目录,状态机把每一页判为当前章、下一章或页内换章。讲解和习题切开,习题只进评测,不进训练,免得模型直接背书上的解答。
Proof QA 是定理、引理、定义配上书中原文证明,并连到更早的命题,共 205,861 条,其中 88.9% 由 gemini-3-flash-preview 抽出。Gap QA 处理跳步:先标出没写完的证明义务,再写成能独立作答的小题并补上证明。候选 918,235 条,留下 174,431 条,收率 19.00%,其中 53.7% 由 gpt-5-mini 写成。质检按准确性等五轴过滤,编造步骤判失败。思考模型加轻量模型,大约每本 7 美元。
推理不改参数,五组检索共用同样长的上下文,从闭卷、同书随机、本章加前一章,到按依赖取命题再加 Gap。训练用同一批题比四种顺序:打乱、正序且先学缺口、倒序、正序但章内混排。正序对倒序看先修方向,先学缺口对混排看跳步要不要提前补。
全量底座是 Qwen3-30B-A3B-Base,论文称之为 30B 基座,只训一个 epoch。64 本书整本留出,移除 15,661 条,训练集 364,631 条。主评测 300 题来自留出书,六门课各 50 题,227 题是证明,数学博士逐题接受。每题 16 条解答,gpt-5.6-luna 审 8 遍,一次指出实质错误就判负。另有 145 道客观题,以及 MiniF2F、ProofNet、MATH-500、AIME 2026。
同一底座、同一训练设置,只换语料。六项无加权均分从 29.17 升到 45.83,提高 16.7 个百分点。五项第一。AIME 2026 为 10.19,低于 MathInstruct 的 11.98。
| 语料 | 长证明 | 客观题 | MiniF2F | ProofNet | MATH-500 | AIME 2026 | 均分 |
| 基座 | 13.25 | 32.93 | 34.45 | 17.14 | 68.80 | 8.44 | 29.17 |
| OpenMath1(182万) | 20.16 | 33.86 | 22.87 | 19.25 | 70.40 | 8.21 | 29.13 |
| MetaMath(39.5万) | 28.73 | 34.66 | 40.70 | 22.55 | 71.20 | 9.98 | 34.64 |
| MathInstruct(26.2万) | 35.87 | 40.69 | 52.05 | 32.93 | 73.05 | 11.98 | 41.10 |
| TOME-Math(36.5万) | 43.86 | 43.96 | 57.43 | 42.98 | 76.55 | 10.19 | 45.83 |
题量对不上名次。OpenMath1 约有 4.8 倍样本,六项全部更低,MiniF2F 从基座 34.45 掉到 22.87。论文写明,几份语料的差别不止结构,这张表还不能单独证明教材组织是原因。
冻结基座、上下文等长时,300 道长证明的单条通过率从闭卷 13.25 升到命题加 Gap 的 17.38。同书随机 14.00,本章及前章 14.71,只检索命题 15.54。Gap 再多 1.84。六门都涨,数学分析与拓扑各涨 6.00。不按依赖去抽同书段落,有的科目不涨,甚至变差。
六门课乘三档预算(75 万、180 万、240 万 token),18 格里正序先缺口全部最高。打乱后 16 条里过一条即算过的比例是 41.04、42.52、43.21,正序先缺口是 45.38、48.98、50.93。领先打乱的幅度从 4.34 扩到 7.72,领先倒序为 5.65、7.41、8.50。先学缺口比混排只多 2.37、1.91、1.53。先修方向是大头,数据越多,顺序越值钱。
预算固定在 75 万 token,书从 8 本增到 16 本,六门该项通过率涨 1.6 到 4.8,平均 3.3。单科模型做到其他学科各 50 题,迁移系数宏平均 0.92,拓扑和微分几何打到概率上达到 1.29。全量去掉 Gap,四项掉 5.05 到 6.77,跌幅最大。章内混排使长证明和客观题掉 3.74 和 2.59,再打乱再掉 0.25 和 0.95。全量设定里先学缺口更敏感,和分科实验里方向是大头的结论相反,论文没有继续拆。
题和 token 锁定之后,按教材从前往后仍然稳定好于打乱,也好于倒序。跳步单独出题,以及把同一预算铺到两倍的书上,各自还有一块增益。
长证明和 ProofNet 上,约 36 万条教材监督超过约 182 万条 OpenMath1。MATH-500 是 76.55 对 73.05。AIME 上则赢不了 MathInstruct。证明监督的扩展,和竞赛短答的扩展,走的不是一条路。语料计划公开,适合做大学数学证明的微调,也适合拿来试训练顺序。
把结构拆开的实验只有六门课。记录最多的十个学科占全库 84.4%,数学分析 307 本书有 66,409 条,图论 25 本书有 24,406 条。疏密差到这个程度,课表还灵不灵,没有测。
原文对齐的审计通过率低于 50%,失败率 28.6%,「没有逐字证据」占 48.4%。Gap 的证明是模型补的,不是印在书上的句子。竞赛数学的高档只占 21.6%,低档占 71.5%。补写内容有多少真正正确,论文没给比例。
主榜分数来自 gpt-5.6-luna 的八审一票否决。附录请数学博士盲标 600 条,用来估计误收和过度拒绝。MiniF2F 与 ProofNet 评的是自然语言证明,过关不等于证明助手里机器检查通过。底座只有一个,全量只训一个 epoch。OpenMath1 这一个 epoch 吃进的 token 多得多,样本少却分数更高,并没有在同等计算量下比较。