MoE 机制手册走红：从路由 Top-k 到负载均衡与 z-loss 全讲透
Franc0Fernand0 · x · 2026-09-15
一位开发者整理了一份 Mixture of Experts 工作原理手册，从 Transformer FFN 拆成按 token 路由的专家库讲起，逐步覆盖：
- 路由机制：router logits、Top-k 专家选择、专家权重分配
- 负载均衡：模型天然倾向选最优专家，需额外损失项惩罚过度集中的选择；作者坦言这是最容易困惑的部分
- 容量与丢弃：expert capacity、token dropping 与 dropless 执行的取舍
- 训练稳定性：router z-loss 的作用
- 参数结构：总参数量 vs 激活参数量的区别
- 并行策略：expert parallelism 的实现
适合想深入理解 DeepSeek、Llama 等主流模型内部稀疏架构的读者系统入门。
所属事件:开发者整理 MoE 完全手册：路由与专家并行全讲透(3 条相关)→
「研究」频道最新
- 作者用 Dan Luu 方法自查 LLM 评审,五道练习揪出四个缺陷 — alexpran · 2026-09-15
- 费城儿童医院用 NVIDIA 开源 AI 数秒建模儿童心脏辅助手术 — nordicinst · 2026-09-15
- CMU 等团队提出动作学习即假设检验的新理论框架 — AnnaCiaunica · 2026-09-15
- 推理过滤数据集 Fable-5.1-Max-Filtered-5000x 登上 HF 趋势榜 — MoreThought · 2026-09-15
- AISTATS 2027 将于蒙特利尔举办,9 月开放投稿 — qberthet · 2026-09-15
- 微软提出 ESRL:锚定高置信专家提升 MoE 强化学习探索 — MicrosoftResearch · 2026-09-15