Meta 发布首个循环与稀疏联合的 MoE 缩放律

Meta AI 研究者在 arXiv 发表论文《Scaling Laws for Looped Mixture of Experts》,提出首个同时建模循环(recurrence)、MoE 稀疏性、模型规模与数据的缩放律。研究发现稀疏化可带来约 3 倍效率提升,循环机制可再节省约 2 倍参数与算力,两条效率路线联合可将推理效率提升约 2 倍,为高效模型设计提供了统一的理论框架。

2026-10-01 ~ 2026-10-02 · 3 条相关