MoE 经典论文精读：稀疏门控如何让模型容量提升千倍

goyalshaliniuk · x · 2026-10-02

作者在「用论文学 AI」系列第 5 期讲解 Mixture-of-Experts 架构：不为每个输入激活整个模型，而是由路由把不同输入分配给不同专家组件，核心要点包括稀疏计算、专家路由、模型容量扩展与计算效率。

配套论文是 Shazeer、Hinton、Jeff Dean 等 2017 年的《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》：提出含数千个前馈子网络的稀疏门控 MoE 层，用可训练门控网络为每个样本选择稀疏专家组合，在语言建模和机器翻译任务上以最高 1370 亿参数的 MoE 实现模型容量超 1000 倍提升，而计算效率损失很小，成绩优于当时的 SOTA。