Meta 首个 Loop Scaling Laws：循环叠加稀疏带来约 2 倍参数效率

yacinelearning · x · 2026-10-28

Meta AI 研究者（Yanbei Chen、Anirudh Goyal 等）发布论文《Scaling Laws for Looped Mixture of Experts》，首次将循环（recurrence）与稀疏（MoE sparsity）两条高效扩展路线联合建模。

核心内容：

Looped transformer 通过重复激活同一模块增加计算深度，MoE 通过稀疏路由扩大总容量，但以往 scaling law 只单独建模二者之一
提出 Loop Scaling Laws，用带界的稀疏条件循环映射刻画循环带来的有效参数增益及稀疏对增益的提升，可更准确预测 looped 模型的 held-out loss，并退化为标准 dense/MoE scaling law 的特例
拟合出的定律可用于在算力与显存约束下设计 looped MoE 模型：稀疏带来约 3 倍激活参数效率，循环在推理任务上带来约 2 倍总参数效率
万亿 token 规模验证：相同训练算力下，1.3B looped MoE 在推理基准上可匹配约 2 倍大小（2.9B）的非 looped MoE，且支持通过循环做测试时扩展

论文同时指出循环次数过多会收益递减，稀疏性能延缓该平台期。

「模型」频道最新