Meta 发布首个循环与稀疏联合的 MoE 缩放律
Meta AI 研究者在 arXiv 发表论文《Scaling Laws for Looped Mixture of Experts》,提出首个同时建模循环(recurrence)、MoE 稀疏性、模型规模与数据的缩放律。研究发现稀疏化可带来约 3 倍效率提升,循环机制可再节省约 2 倍参数与算力,两条效率路线联合可将推理效率提升约 2 倍,为高效模型设计提供了统一的理论框架。
2026-10-01 ~ 2026-10-02 · 3 条相关
- Meta 首个 Loop MoE Scaling Law:稀疏省 3 倍、循环省 2 倍算力 — facebook · 2026-10-01
- Meta 提出首个联合循环与稀疏的 MoE 缩放律,推理效率提升约 2 倍 — fly51fly · 2026-10-02
- Loop Scaling Laws 首次联合建模循环与稀疏:稀疏提效 3 倍,循环再省 2 倍参数 — anirudhg9119 · 2026-10-02