Looped Transformer 解锁循环深度：不加参数不加思维链也能更强推理
gordic_aleksa · x · 2026-09-17
Aleksa Gordić 长文解读 looped transformer（循环深度递归），认为这一被前沿实验室传闻采用的方法被低估了。
核心思想
- 在不增加参数量、也不增加显式思维链长度的情况下提升推理深度——即第三条 scaling 维度「recurrent depth」。
- 与 MoE 的对比很精妙：MoE 是固定 FLOPs 增加参数容量（知识/记忆），looped transformer 是固定参数增加总计算量（推理）。
架构设计
- 计算流改为 P → R → R → … → R → C：P 为只跑一次的 prelude 层，R 为循环任意 r 次的核心层，C 为出口 coda 层；关键设计是每轮递归都重新注入编码 e，隐状态 s0 从高斯初始化开始。
- 训练时 r 从重尾的 log-normal-Poisson 分布采样，配合截断 BPTT 节省显存，模型由此学会跨随机递归深度工作。
推理时更多循环=更强性能
- ARC-C 上：0-shot 约 8-12 次迭代性能饱和，1-shot 需 20 次，25-50 个 few-shot 样本下可吃到 32 次迭代的收益——上下文越难，隐式计算越有用。
- 作者类比：这相当于在推理时做「隐空间里的梯度下降」。
系统层面亮点
- 每个 microbatch 跨 worker 同步同一个 r，避免小 r 的 GPU 空等。
- 天然适配 speculative decoding：低 r 作 draft、高 r 作 verify，且 draft 算出的状态可直接复用（r=4 的 s3 接到 r=12 的继续迭代）。
- 由于每轮递归共享同一权重，KV cache 可跨递归深度 zero-shot 激进复用。
- 简单 token 的隐状态收敛更快，可按 token 难度提前退出循环。
- 训练/推理显存占用更低。
所属事件:循环 Transformer 受关注：不动参数即可扩展推理算力(2 条相关)→
「研究」频道最新
- General Reasoning 首发博客:详解如何用强化学习训练 Agent 集群协作 — rosstaylor90 · 2026-11-02
- 数学家 Tony Feng：当前范式 LLM 缺乏研究所需的思维多样性 — littmath · 2026-11-02
- 「不懂测度论就学不了概率」？数学圈调侃形式化与本质的错位 — LucaAmb · 2026-11-02
- DStill 论文：蒸馏多步去噪轨迹，块扩散投机解码提速至 6.45 倍 — LucaAmb · 2026-11-02
- 研究发现门控参与度与生成质量强相关，径向目标降 FID 至 11.83 — Junha Park · 2026-11-02
- REA 提出「大脑-小脑」异步机器人控制运行时，运行策略不等大脑 — Pengfei Zhou · 2026-11-02