Meta 提出循环 MoE 缩放定律：稀疏省 3 倍、循环再省 2 倍算力

arXiv 论文《Scaling Laws for Looped Mixture of Experts》提出首个同时建模循环、MoE 稀疏性、模型规模与数据的缩放定律，用有界、随稀疏度条件变化的参数刻画两条效率路线的联合作用。研究显示稀疏性可带来约 3 倍计算效率提升，循环机制再节省约 2 倍参数，为高效模型设计提供了量化指导。

2026-10-01 ~ 2026-10-02 · 2 条相关

• Meta 首个 Loop MoE Scaling Law：稀疏省 3 倍、循环省 2 倍算力 — facebook · 2026-10-01
• Loop Scaling Laws 首次联合建模循环与稀疏:稀疏提效 3 倍,循环再省 2 倍参数 — anirudhg9119 · 2026-10-02