How Depth Growth and Looping Shape In-Context Learning in Language Models
Ferdinand Kapl, Kaitlin Maile, Stefan Bauer, Johannes von Oswald
cs.CL, cs.AI, cs.LG
2026-10-22
在同序100B token的3B对照里，层增长和循环比同深度稠密模型更早学会并更久保住上下文学习，也更依赖归纳头，LIDAS在GSM8K上约高7个点。
把网络做深，有两条省算力的做法。Depth growing 先训浅网络，再把中部连续层连权重和 Adam 矩复制出去，副本随后各自训练。Looping 让同一块层在一次前向里重复出现，参数始终共享。两条路最近被用来做推理，也有迹象更擅长 ICL：不改参数，只用当前序列里的信息。
推理变好，还不能说明模型靠的是上下文。下一个词可以来自权重中的固定关联，也可以来自眼前的序列。后部损失下降，和看几个示例做对新题，不是同一次测量。同一数据和步数下，看死记同样行得通时，它们是否仍选上下文，又由哪类注意力头支撑。
主实验从零训练 decoder-only Transformer，稠密参照 360M 到 3B。3B 对齐 SmolLM3 的 36 层，三方按同一顺序训练 100B token，最终推理 FLOPs 对齐。层增长用 LIDAS，不沿已有块边界，只复制网络中部，块大小 4，从 4 层增到 36 层，学习率不重置。前半程更浅，3B 约省 26% 训练 FLOPs，360M 和 1.7B 约省 22%。
循环记作 Loop p-b×r-c。3B 主对照是 Loop 10-8×2-10：一次前向 36 次层运算，独立层 28 层，约 2.45B 参数。
评测分三块。FineWeb-Edu 上看各位置负对数似然。ICL-Score 用位置 40 到 60 的平均损失减去 490 到 510。GSM8K 的示范数从 0 加到 8，对生成答案做严格匹配。RegBench 把没见过的有限自动机走出的字符串接成序列，用预测分布相对合法后继均匀分布的总变差 TVD 打分。Omniglot 用固定标签把上下文解和权重解拆开。ICL 探针换新类并重配标签，IWL 探针让查询类不出现在上下文里。
前缀匹配分 PS 用来标归纳头：随机词元序列重复两遍，注意力是否落到上次该前缀的下一个词元。函数向量头做干预，把该头输出换成干净任务的平均激活，看打乱标签后能否答对。消融用均值替换，先排除另一类头部的前 2%，再删 1% 到 20%。
3B、一万篇长文档上，层增长和循环开头更差，词元序号不超过 8 时差距最大，之后降损失比稠密基线更快。LIDAS 约在位置 1000 追上，其后和全位置平均都更低。循环参数更少，到序列末尾绝对损失仍更高。
GSM8K 上循环的每个示范数都高于基线，8 个示范时基线几乎追平。LIDAS 的领先随示范变多而扩大，结束约高 7 个点。选择题和生成任务上，3B 的 LIDAS 两边更好，循环主要赢在生成。
| 规模 | 模型 | 9 任务 | MMLU |
| 3B | 稠密 | 61.33 | 39.15 |
| 3B | LIDAS | 62.89 | 39.28 |
| 3B | 循环 | 60.53 | 38.32 |
| 1.7B | 稠密 | 62.97 | 40.12 |
| 1.7B | LIDAS | 64.69 | 40.86 |
| 1.7B | 循环 | 63.25 | 39.89 |
| 360M | LIDAS | 57.10 | 34.09 |
| 360M | 稠密 | 54.69 | 34.67 |
MMLU 几乎不动，360M 的 LIDAS 还从 34.67 降到 34.09。九任务上 LIDAS 更高，循环常常不高于稠密模型。
RegBench 三种结构都做 12 次层运算。层增长和循环的测试 TVD 更低，优势大约在第 4 条字符串到顶。第一条内部约 15 个符号后开始更准。循环宽 256，另两者宽 128，超参按验证集选取，算力没有对齐。
Omniglot 固定标签时，ICL 先升后降，IWL 上升。结束时层增长和循环的 ICL 高于 12 层稠密模型，IWL 更低。层增长更像它出发的 4 层模型。标签逐条重抽后，循环、层增长和 4 层稠密都比 12 层更早出现 ICL，100 万步时四种都接近 100%。
3B 训练中 LIDAS 的前 2% 头平均 PS 高于基线，结束仍更高，循环接近基线。每次复制会短暂打乱前缀匹配。最终 12 个最强头只回溯到 4 个祖先。L2H9 和 L2H10 在首次复制前已经很强，这两个头占最终 12 个头里的 10 个。循环的高分头出现在共享 8 层的两次应用上，权重仍然绑定。
消融上三个模型一致：函数向量头更影响 19 个任务的少样本 F1，归纳头更影响 ICL-Score。比例加大后，层增长和循环因归纳头被删而比基线掉得更狠。9% 消融时，函数向量头主要伤前部，归纳头的伤害随位置增大，并在 LIDAS 与循环的后部超过前者。稠密基线的后部仍更依赖函数向量头。
深度若靠参数复用长出来，模型更倾向使用上下文，也更早学会、更久保住这种解。3B 的层增长大约少 26% 训练 FLOPs，收尾时推理 FLOPs 仍与 36 层稠密模型对齐。少样本数学和长文后部损失上，LIDAS 比循环更值得跟。循环参数更少，形式语言和少样本能占优，绝对损失和选择题经常不能。
层复制把早期会做前缀匹配的少数头印到后层。少样本仍更依赖函数向量头，后文预测的比重让给归纳头。
语言建模每臂只有一个训练种子。360M 循环还少一次初始化缩放。RegBench 上循环宽 256、其余 128，算力没有对齐。Omniglot 比出现早晚时，100 万步四种模型都接近 100%。ICL 留得更久时 IWL 更弱，任务若靠稳定标签，这是要付的代价。
GSM8K 约高 7 个点，绝对准确率仍低，3B 面板纵轴到 18%。九任务 LIDAS 只高 1.56 个点，MMLU 高 0.13，循环两项都低于基线。3B 只训 100B token，360M 与 1.7B 约 210B 和 419B，词表和上下文长度也不同。
早期上下文计算被复制后更难被死记挤掉，只是一种解释，没有单独干预。函数向量头相对基线的方向随规模变化。归纳头对少样本的作用，小于它对后文损失的作用。