Squeezing More from Limited Data with Recursive Transformers
Serdar Gülbahar, Lukas Edman, Alexander Fraser
cs.CL, cs.LG
2026-08-27
把单个 Transformer 块沿深度重复使用并搭配分解式词嵌入,10M 和 100M 词预算下平均分都超过最优标准模型,100M 词五项全胜 GPT-BERT 基线。
预训练研究的常见假设是数据、算力、模型一起涨。这篇研究反过来的情形:语料钉死在 10M 到 100M 词,算力管够。设定有现实依据,高质量人工文本的供给被认为可能成为继续扩展模型的瓶颈,BabyLM Challenge 就是按这个约束办的赛:10M 或 100M 词、10 个 epoch、不限 FLOPs。
数据固定后,模型大小本身成了正则化旋钮。标准 Transformer 缩小时有结构性麻烦:词表大小不变时,Transformer 块近似随隐藏维平方缩小,嵌入矩阵只线性缩小,小模型的参数大半被词表映射吃掉,每个 token 分到的计算量也随容量一起被砍。超过数据决定的最优规模后,训练损失还在降,下游成绩反而掉。扫描实验确认这是过拟合,不是优化失败。
RecursiveGPT 用两个组件把参数量和每 token 计算量拆开:
两个设计有明确动机。循环步数固定、不上自适应停机,因为递归共享的优化偏脆,作者刻意把设计压到最简。MLP 扩张比给到 16,远超常规:FFN 神经元数只随隐藏维线性涨,总参数按平方涨,靠加宽凑参数量会让 FFN 太薄,而 FFN 神经元可以看作键值对式的联想记忆,数据受限时这部分容量关键。
实际训了三个配置:27.6M 参数(H=640,E=192,R=16)配 10M 词;124.0M(H=1408,E=768,R=24)和 404.1M(H=2560,E=2560,R=24)配 100M 词。
标准模型的最优规模扫描(12 层,隐藏维 256 到 3072,13M 到 1.2B 参数,两个语料)给出三个事实:性能对参数量非单调,最优点随下游目标移动,BLiMP 早早饱和、COMPS 在 50M 和 100M 词下持续吃参数红利、LAMBADA 居中;训练损失一路下降而下游成绩下滑,过拟合坐实;换成 Nemotron-ClimbMix 语料后绝对分变了、偏好区间基本不动,最优规模主要由数据预算和评测目标决定。
递归对标准的直接对照,同语料、三个种子取平均:
10M 词(100M 语料的 10% 子集):
| 模型 | 参数 | BLiMP | COMPS | LAMBADA p@5 | 平均 |
| 标准(H=384) | 41.1M | 68.97 | 52.88 | 12.93 | 44.93 |
| 标准+FE(H=384) | 28.7M | 70.09 | 52.62 | 12.48 | 45.07 |
| RecursiveGPT+FE(R=16) | 27.6M | 70.95 | 52.96 | 13.48 | 45.80 |
100M 词:
| 模型 | 参数 | BLiMP | COMPS | LAMBADA p@5 | 平均 |
| 标准 | 1.22B | 79.71 | 60.65 | 50.04 | 63.47 |
| RecursiveGPT+FE | 124.0M | 80.06 | 58.70 | 47.01 | 61.92 |
| RecursiveGPT-Large | 404.1M | 80.70 | 60.31 | 50.77 | 63.93 |
10M 词下递归模型三项全胜。100M 词下,124M 递归模型用约一成参数在 BLiMP 上超过 1.22B 标准模型(80.06 对 79.71),但 COMPS、LAMBADA 和平均分仍落后,放大到 404.1M 才把平均分反超(63.93 对 63.47)。
深度扫描给了一个冷静信号:固定 27.6M 配置,把 R 从 4 扫到 32,平均分在 R=16 见顶(46.16)后略降,计算量并不单调换性能。按 FLOPs 配平、给标准模型加 epoch 的对照(附录 F)在两个预算下都更差,收益确实来自递归结构本身。
对 BabyLM 2025 获奖系统:10M 词时递归模型拿下 BLiMP(72.21)和 EWoK(52.01)两项最高分,平均 52.07,输给 AMLM hard decay 的 56.00,拖后腿的是 Entity Tracking(24.51 对 44.20);100M 词时两个递归模型在五项评测和平均分上全压 GPT-BERT 因果基线(59.75、59.88 对 58.24)。
消融指向分解式嵌入是关键零件:去掉它,即便把隐藏维降到 384 做参数配平,平均分从 46.16 掉到 44.09,H=640 的不分解版本也只有 44.90;norm 参数是否按步独享影响很小,深度条件的作用比预期弱。
数据受限预训练会越来越常见:低资源语言、垂直领域语料、高质量文本见顶。这篇给的不是又一个训练技巧,是架构层面的新算力扩展轴,与 BabyLM 那些数据效率训练法正交,可以叠加。实验门槛也低,10M 词级别的竞品模型单卡几分钟就能训完。
冷水也要泼。对 GPT-BERT 的领先在 1.5 分上下;10M 词的平均分还落后 AMLM hard decay,而 AMLM 的作者正是这篇的二作和三作,同组对决,对比可信,也说明架构优势幅度有限。「一成参数」也不等于一成算力:R=24 意味着每个 token 要过同一个块 24 次,训练和推理开销向 24 层模型看齐。
作者自述三条:超参没有按「语料×预算×规模×深度」逐组合精调,全量搜索算力上不可行;只覆盖递归设计空间的一角,单共享块、固定深度、简单深度条件;没有自适应停机或深度调度,加深会线性推高训练与推理成本。
存疑点同样具体。收益在 R=16 见顶,更大规模上递归优化会不会更不稳,论文没有证据。100M 词的两个递归模型因算力限制远低于第 3 节认定的最优规模,现有对照可能低估递归的潜力。Entity Tracking 的 24.51 是明显弱项,作者以该基准的反常现象(GPT-BERT 在 10M 词比 100M 词得分还高)为由降低其权重,理由成立,弱项本身躲不掉。多数领先幅度在 0.3 到 1.5 分之间,三个种子取平均后仍属小幅优势。