13 步手推 Switch Transformer:看懂 MoE 为何省算力

ProfTomYeh · x · 2026-09-10

ProfTomYeh 发布 Switch Transformer 手工推演教程,用 13 个步骤在纸上走完稀疏 MoE 的完整流程:注意力池化后,由 switch 矩阵给出各专家的门控值,每个特征只路由到得分最高的单个专家,专家容量设为 2,超容量的特征直接透传。

核心结论:Switch Transformer 保持注意力不变,把稠密前馈层替换成稀疏专家组——参数大部分存在专家里,但每个输入只激活一小部分。这正是 GPT-4、Claude、DeepSeek-V3、Kimi 等 MoE 模型「存储巨大、推理便宜」的原理。