Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior
Atsuki Yamaguchi, Tatsuro Inaba, Joel Niklaus, Michal Štefánik, Aline Villavicencio, Nikolaos Aletras
cs.CL, cs.AI, cs.LG
2026-09-30
500M 到 7B、最高 100B token 预算下重测合成热身 PPT:3B 省至少 21B token,机制是长程检索不是语法先验。
Pre-pretraining(PPT,预预训练)是近两年出现的热身技巧:模型先在合成非自然语言序列上训练几百步,再带着这套权重进入正式预训练(PT)。此前的论文报告这样做能提升 token 效率,并把原因归结为「语法先验」,认为模型从括号语言里学到的层级结构会迁移到自然语言语法。
这个结论建立在三个与真实预训练脱节的条件上:模型不超过 1B 参数;预训练不到 2B token 就停,增益可能只是初始化的短期红利;语料几乎是纯网页文本,而现代配方里代码和数学占比可观,这些域自带嵌套结构,可能让 PPT 变成重复投资。谢菲尔德大学、Hugging Face、MBZUAI 等机构的团队把这三个变量全部放大重测。
实验是一个四维网格:5 个 PPT 任务 × 4 个数据混合 × 4 个参数规模(500M/1B/3B/7B)× 两档预算(标准 21B token,扩展到 100B token)。标准预算的 token 曝光就是此前工作的 12.825.6 倍,扩展预算约 50 倍。
Control 的作用是把「合成数据本身」与「多训了 500 步」拆开:若热身步数是关键,Control 也该受益。评估上,每 1K 步测一次,取训练后半段(5K10K 步)的均值与标准差,均值超过标准差才算「稳定」。这不是小题大做:附录显示 BLiMP 的单 checkpoint 估计有一半对待号反转,而下游平均从不反转。
| 设置 | 指标 | 结果 |
| 12 个规模-混合对(k-Shuffle Dyck) | 下游平均分变化 | 9 对至少 +0.6,这 9 对平均 +1.6 |
| 3B Marin | token 节省 | ≥21B:PPT 63B token 达 62.3 分,PT-Only 训到 84B 才到 62.0 |
| 100B token(3B) | 下游平均 | C4 +1.6、Marin +1.2,与 21B 时持平 |
| 7B Marin(75.5B token) | 下游平均 | +0.6,每个预算点为正 |
| BLiMP 语法测试 | 稳定提升 | 1/12 对(下游平均为 10/12) |
| verbatim retrieval | NLL 改善 | 12/12 对,7 对稳定 |
| Set 任务(3B,4 个混合) | 下游平均 | -7.2,4 个混合全部变差 |
| 数学占比 1.3%→17% | PPT 增益 | +2.0 vs +1.9,几乎不动 |
| 完全去掉网页文本 | PPT 增益 | 从 +1.9 掉到 +0.2 |
三层结论。
收益真实且能扩展。增益随规模基本持平(500M +0.8、1B +1.4、3B +1.3),Control 与 PT-Only 的差距各规模都在 ±0.4 内,「多训 500 步」的解释被排除。扩展训练下 14 个预算点全部为正,长训练不稀释增益。
语法先验站不住。BLiMP 只有 1/12 对稳定提升,在与此前工作完全相同的设置(C4、500M)上还掉了 0.6 分;Marin 上的语法增益从 500M 的 +0.3 摆到 1B 的 +1.6,再回到 3B 的 -0.3,没有一致方向。稳定的信号出现在 verbatim retrieval,以及下游增益最大的三个 benchmark:LAMBADA、ReCoRD、HellaSwag,共同点是答案取决于上文。
任务消融锁定机制。k-Shuffle Dyck(+1.3)、NCA(+1.2)、MP-Struct Core(+0.9)增益相当,Set 独自掉 7.2 分。前三个任务都要求定位序列中更早的某个位置(闭括号找回开括号、NCA 复现前一状态对应的细胞),Set 只需记住「这个 token 出现过没有」,无需定位。数据侧消融互补:数学占比提 13 倍增益纹丝不动,去掉网页文本增益崩掉九成。web 占比也解释不了 OLMo3 的失效:与它同为 76.9% web 的 17% Math 变体增益 +2.0,OLMo3 在 3B 却是 +0.0。
对做预训练的人,这是一笔可以直接算的账:3B/21B 设置下 PPT 占约 5% 训练时间(对 100B 预算约 1%),换至少 21B token 节省,且在四种现实混合语料上成立。对 PPT 研究方向,设计目标从模仿语法层级转向逼模型做长程检索。Set 的惨败给出反面清单:有结构不够,可定位的依赖才迁移。整体上这是一篇验证与修正并重的工作,渐进但扎实:增益保住了,解释被换掉了。
OLMo3 为何在两个规模上失效,论文没有答案,直接消融的算力不够,3B 实验已消耗约 1.07T token,留作 future work。7B 只测 Marin 一个混合,只训到 75.5B token(约 11 token/参数,3B 是 33),增益从 1.3 收窄到 0.6,分不清是容量饱和还是预算不足;7B 还降了学习率,多了一个变量。「长程检索」的证据是相关性的:verbatim retrieval 稳定、有效任务都含检索需求、增益集中在依赖上文的 benchmark,三条线索同向,但缺一个把检索能力单独关掉的因果实验。多数配置单次运行,只有 3B Marin 补了 3 个随机种子,其余结论靠跨 checkpoint 稳定性撑着。