Meta 论文：循环 MoE 用一半参数追平 2 倍大模型，推理提升 3 倍效率

ChengleiSi · x · 2026-10-13

Meta AI 研究员 Yanbei Chen 等发布论文《Scaling Laws for Looped Mixture of Experts》，首次联合建模循环（looping）与稀疏性（MoE）两条扩展轴的 scaling law。关键发现：- 在相同 1.5e22 FLOPs 训练算力下，0.3B 激活（1.3B 总参）循环 5 次的 MoE 可追平 2 倍大的 0.6B 激活非循环 MoE：GSM8K 41.2% vs 42.9%，BIG-Bench Hard 31.8% vs 29.8%；- 稀疏性带来约 3 倍激活参数效率，循环带来约 2 倍总参数效率，两轴互补；- 循环收益递减：前几次 pass 损失下降明显，随后趋平；更高的专家稀疏度能提升并维持循环带来的容量增益；- 该规律在万亿 token 规模下依然成立，为算力与显存受限下设计循环 MoE 提供了原则性框架。