arXiv 论文统一层循环与深度增长：推理时循环使部分推理原语准确率提升至 2 倍
kastnerkyle · x · 2026-10-31
arXiv 论文《From Growing to Looping: A Unified View of Iterative Computation in LLMs》（Kapl、von Oswald 等）对两种提升 LLM 推理能力的技术给出机制性统一：
- 层循环（looping）：复用同一层块跨深度迭代计算；深度增长（depth growing）：从浅到深训练、复制中间层扩展模型。两者此前都被发现与更强推理相关，但关系不明。
- 研究发现两类模型呈现收敛的深度方向特征：更依赖后期层、并出现与循环/增长块对齐的重复模式，表明两者收益来自共同的迭代计算形式。
- 两者可组合：对一个深度增长模型的中间块施加推理时循环，即便该模型从未被训练过循环，也能在部分推理原语上将准确率提升至最高 2 倍。
- 深度增长模型在高质量、数学密集的 cooldown 数据混合下获得最大推理收益，且均可通过更多 in-context 示例或 SFT 数据进一步提升。
结论：深度增长与层循环是互补、实用的迭代计算扩展方法。
「研究」频道最新
- ICLR 论文：只微调部分层的「外科手术式微调」更抗分布偏移 — alexbilz · 2026-10-31
- 前 OpenAI 研究员泼冷水：生物神经元训练视频模型是被夸大宣传 — willdepue · 2026-10-31
- Cherimoya 基因组模型计数性能升至 0.78,VEP 误差近半 — jmschreiber91 · 2026-10-31
- Krueger:研究超人类 AI 应转向分析 PB 级日志而非机制可解释性 — DavidSKrueger · 2026-10-31
- Relation Therapeutics 发布 PEP-seq:用先导编辑为 DNA 基础模型造训练数据 — anshulkundaje · 2026-10-31
- 活体神经元训练出「绿色模型」，视频生成成本降至 Wan 2.2 的约 1/8 — PeterDiamandis · 2026-10-31