2118本教材抽出38万证明题,六项均分提升16.7个百分点

Scaling Mathematical Proof Supervision from Structured Textbooks

Youqing Fang, Zhouqi Hua, Yinhao Tang, Yuzhe Gu, Lingkai Kong, Bin Liu, Weiming Zhang, Kai Chen, Yanan Sun, Wenwei Zhang

cs.CL, cs.AI

2026-10-30

2118本教材被整理成38万条带章节与命题依赖的证明题,微调Qwen3-30B后六项均分从29.17升至45.83。

这篇在解决什么

进训练集的数学监督,大多是孤立的「一题一解」。竞赛题、网页习题和合成数据来源不同,进模型前都变成这种形状。教材按另一套逻辑写:定义引出概念,引理和定理沿先修关系展开,章节顺序就是课程本身。以往多用教材做预训练文本或题库,目录、引用和被「显然」跳过的步骤没有进监督。孤立问答像抽掉目录的卡片。

TOME-Math 留下这套目录。中国科学技术大学、上海人工智能实验室、复旦大学、上海交通大学从 2118 本大学教材、29 个学科抽出 380,292 条证明问答,保留章节顺序、命题与证明的对应、依赖引用和出处。

方法

DeepSeek-OCR 把 PDF 转成 Markdown。gpt-oss-120b 按页恢复目录,状态机把每一页判为当前章、下一章或页内换章。讲解和习题切开,习题只进评测,不进训练,免得模型直接背书上的解答。

Proof QA 是定理、引理、定义配上书中原文证明,并连到更早的命题,共 205,861 条,其中 88.9% 由 gemini-3-flash-preview 抽出。Gap QA 处理跳步:先标出没写完的证明义务,再写成能独立作答的小题并补上证明。候选 918,235 条,留下 174,431 条,收率 19.00%,其中 53.7% 由 gpt-5-mini 写成。质检按准确性等五轴过滤,编造步骤判失败。思考模型加轻量模型,大约每本 7 美元。

推理不改参数,五组检索共用同样长的上下文,从闭卷、同书随机、本章加前一章,到按依赖取命题再加 Gap。训练用同一批题比四种顺序:打乱、正序且先学缺口、倒序、正序但章内混排。正序对倒序看先修方向,先学缺口对混排看跳步要不要提前补。

全量底座是 Qwen3-30B-A3B-Base,论文称之为 30B 基座,只训一个 epoch。64 本书整本留出,移除 15,661 条,训练集 364,631 条。主评测 300 题来自留出书,六门课各 50 题,227 题是证明,数学博士逐题接受。每题 16 条解答,gpt-5.6-luna 审 8 遍,一次指出实质错误就判负。另有 145 道客观题,以及 MiniF2F、ProofNet、MATH-500、AIME 2026。

结果

同一底座、同一训练设置,只换语料。六项无加权均分从 29.17 升到 45.83,提高 16.7 个百分点。五项第一。AIME 2026 为 10.19,低于 MathInstruct 的 11.98。

语料长证明客观题MiniF2FProofNetMATH-500AIME 2026均分
基座13.2532.9334.4517.1468.808.4429.17
OpenMath1(182万)20.1633.8622.8719.2570.408.2129.13
MetaMath(39.5万)28.7334.6640.7022.5571.209.9834.64
MathInstruct(26.2万)35.8740.6952.0532.9373.0511.9841.10
TOME-Math(36.5万)43.8643.9657.4342.9876.5510.1945.83

题量对不上名次。OpenMath1 约有 4.8 倍样本,六项全部更低,MiniF2F 从基座 34.45 掉到 22.87。论文写明,几份语料的差别不止结构,这张表还不能单独证明教材组织是原因。

冻结基座、上下文等长时,300 道长证明的单条通过率从闭卷 13.25 升到命题加 Gap 的 17.38。同书随机 14.00,本章及前章 14.71,只检索命题 15.54。Gap 再多 1.84。六门都涨,数学分析与拓扑各涨 6.00。不按依赖去抽同书段落,有的科目不涨,甚至变差。

六门课乘三档预算(75 万、180 万、240 万 token),18 格里正序先缺口全部最高。打乱后 16 条里过一条即算过的比例是 41.04、42.52、43.21,正序先缺口是 45.38、48.98、50.93。领先打乱的幅度从 4.34 扩到 7.72,领先倒序为 5.65、7.41、8.50。先学缺口比混排只多 2.37、1.91、1.53。先修方向是大头,数据越多,顺序越值钱。

预算固定在 75 万 token,书从 8 本增到 16 本,六门该项通过率涨 1.6 到 4.8,平均 3.3。单科模型做到其他学科各 50 题,迁移系数宏平均 0.92,拓扑和微分几何打到概率上达到 1.29。全量去掉 Gap,四项掉 5.05 到 6.77,跌幅最大。章内混排使长证明和客观题掉 3.74 和 2.59,再打乱再掉 0.25 和 0.95。全量设定里先学缺口更敏感,和分科实验里方向是大头的结论相反,论文没有继续拆。

为什么重要

题和 token 锁定之后,按教材从前往后仍然稳定好于打乱,也好于倒序。跳步单独出题,以及把同一预算铺到两倍的书上,各自还有一块增益。

长证明和 ProofNet 上,约 36 万条教材监督超过约 182 万条 OpenMath1。MATH-500 是 76.55 对 73.05。AIME 上则赢不了 MathInstruct。证明监督的扩展,和竞赛短答的扩展,走的不是一条路。语料计划公开,适合做大学数学证明的微调,也适合拿来试训练顺序。

局限与存疑

把结构拆开的实验只有六门课。记录最多的十个学科占全库 84.4%,数学分析 307 本书有 66,409 条,图论 25 本书有 24,406 条。疏密差到这个程度,课表还灵不灵,没有测。

原文对齐的审计通过率低于 50%,失败率 28.6%,「没有逐字证据」占 48.4%。Gap 的证明是模型补的,不是印在书上的句子。竞赛数学的高档只占 21.6%,低档占 71.5%。补写内容有多少真正正确,论文没给比例。

主榜分数来自 gpt-5.6-luna 的八审一票否决。附录请数学博士盲标 600 条,用来估计误收和过度拒绝。MiniF2F 与 ProofNet 评的是自然语言证明,过关不等于证明助手里机器检查通过。底座只有一个,全量只训一个 epoch。OpenMath1 这一个 epoch 吃进的 token 多得多,样本少却分数更高,并没有在同等计算量下比较。

术语

原文与代码

相关论文

全部论文解读