What Makes Recurrence Effective in Looped Language Models?
Xinlin Zhuang, Siyuan Wang, Imran Razzak, Weiyang Liu
cs.LG, cs.CL
2026-09-29
循环语言模型超出训练深度继续展开，推理继续涨、知识反而跌；history-state 注入加 timestep 条件化让两种任务的外推都更稳。
LoopLM(循环语言模型)让同一组 Transformer 层反复执行，用参数共享换计算深度：参数不涨，推理时多转几圈就多算几层，是 test-time scaling 里省参数的一条路线。Huginn 等工作证明过可行，但评估基本停在训练时固定的循环次数上，三个问题没人系统回答过：转得比训练时更多还有没有用？哪些层该进循环？循环之间要不要喂条件信号？答案直接决定 LoopLM 能不能当「推理时加算力」的通用工具。这篇用控制变量实验把三种推理预算(少转、等于训练圈数、多转)× 知识与推理两类任务全部扫了一遍。
先立记号。循环模型记作 p+s×K+c:Prelude 是 p 层独立参数的入口，核心是 s 层共享参数、训练时转 K 圈，Coda 是 c 层独立参数的出口。p=c=0 叫 BaseLoop,整个网络都在循环里；带边界层的叫 CoreLoop。物理深度 p+s+c 决定参数量，有效深度 p+r·s+c 决定单个 token 的真实计算量，推理时改 r 就能调预算。所有对比严格控住四个量：物理深度、训练有效深度、推理有效深度、训练流程。模型按 Llama3.1-1B 和 Qwen3-0.6B 的结构配置随机初始化，在 FineWeb-Edu 上按 Chinchilla 比例从头预训练，矩阵参数用 Muon 优化器。评测分知识组(SciQ、ARC-Easy、PIQA)和推理组八项(ARC-Challenge、WinoGrande、HellaSwag、ProofWriter、CLUTRR、BBH 子任务等)，ProofWriter 的证明深度和 CLUTRR 的关系链长度是现成的难度旋钮。
条件化设计是后半篇的重点：
核心现象一句话：超出训练视界继续转，推理涨、知识跌。
| 设置 | 指标 | 结果 |
| BaseLoop 2×10(Llama),L(r) 20→40 | 推理 | 28.52→31.49(+2.97 点，纯测试时所得) |
| 同上 | 知识 | 62.80→52.11(-10.69 点) |
| NonLoop 20×1(等训练 FLOPs) | 推理 | 30.25(等算力参考上界) |
| BaseLoop 5×4 @ L(r)=30 | 推理 | 31.88,超过 NonLoop |
| Qwen 4×7,history+Loop Gating @ D=84 | Overall | 37.30,比次优组合 I+H(36.91)高，比自身强成分高 1.16 点 |
分层数据有两个反直觉点。ProofWriter 外推到 L(r)=24,所有证明深度都涨，深度 3-5 涨约 7.5 点；CLUTRR 却是短链大涨(链长 2 到 31.6,链长 3 到 23.4),长链涨幅缩水甚至下跌。更难的样本不会自动从多循环里拿到更多收益。配置层面，同样训练深度 20 下，2×10 早熟早衰，10×2 平坦无增益，4×5 和 5×4 才持续外推，有效深度本身预测不了行为。条件化的结论同样分明：Dense 初始态注入在外推时把知识准确率打崩，轻量参数化不崩但也没增益。history-state 注入在 dense 参数化下窗口取 1 就能把崩掉的曲线救回 NonLoop 参考线附近，窗口开到 2 或 4 反而变差。timestep 的收益依赖配置：7×4 在 L(r)=56 上 Branch Gating 拿 38.46 的 overall(BaseLoop 36.59,AdaLN 38.01),同一套方案放到 4×7 和 2×14 上增益缩水甚至为负。最终组合在 Qwen 4×7 上验证：channel-wise history 注入(w=2)加 Loop Gating 是最强搭档，再塞初始态注入没有额外好处。几何分析给了个解释：这对组合的跨循环依赖比两个含初始态的组合分别高 18.6% 和 10.4%,静态锚点给不出这种跨圈耦合。
对做高效推理和 test-time scaling 的人，这篇读起来是一份设计手册。三条能直接落地的规则：物理深度和循环次数要均衡分配，一头沉的配置外推不动；想稳知识就留 Coda,想推推理就加重 Prelude,训练视界附近怎么分差别不大；条件化选 channel-wise history 注入加标量级 timestep 门控，参数开销只有几个向量。它还给「参数换算力」划了边界：同样的训练 FLOPs,循环模型靠测试时多转真的能超过非循环上界的推理分，想用小模型扛重任务时这是实打实的杠杆。也得说清楚，这是渐进式的经验研究，单项增益多在一到三个点之间，规模没超过 1B。
论文自列三条：算力所限只做到约 1B 参数、固定 token 预算；外推倍数手动指定，没探索按输入自适应定循环数；几何指标(含计算交互度)与下游性能只是相关性观察。读下来再补两个疑问：知识组只有三个任务，PIQA 被刻意归入知识侧，组均值对这个划分敏感；条件化收益随配置摇摆，4×7 和 7×4 偏好的门控粒度都不同，论文给了现象和几何解释，还没有能事先预测「哪种配置吃哪种条件化」的模型。