Hugging Face 发布 80 万 GPU 时实操《终极 MoE 训练手册》

Hugging Face 作者 Nouamanetazi 团队发布《The Ultimate MoE Training Handbook》：基于约 50 万 GPU 小时的 MoE 训练实验（Thom Wolf 与 lvwerra 转述为 80 万 GH200 GPU 时），整理成 3 万词、收官帖确认含 55 张配图的免费博客。手册面向已训练过稠密模型、想进阶 MoE 的工程师，是 Fable/Astra 一代模型一年训练工作的快照——那一年 AI 开始解决数学领域的开放问题。作者引用 Artificial Analysis 数据称顶级开源模型 20 席中 18 席是 MoE，说明 MoE 已成主流、Dense 基本出局，但相关 know-how 仍集中在少数团队手中。

已确认

• 手册逐参数讲解如何用 Megatron-LM 训练 MoE，覆盖从 profiling 到大规模集群训练的完整流程；第二章是可照做的 runbook：测试硬件、构建镜像、tokenize、先训 dense baseline，再在单节点训第一个 MoE。
• 路由与均衡设计对比：Kimi K3 每层多达 896 个路由专家，放弃固定步长 bias 更新，改用从跨 GPU 汇总得分直方图求解 bias 的分位数均衡；DeepSeek-V4 前 3 个 MoE 层用 token id 固定哈希选专家，V4.1-Flash 改回全层可学习路由并把 token-id 查找移入 Engrave；DeepSeek-V4 路由打分由 sigmoid 改为 sqrt(softplus)，路由缩放因子上 GLM-5.3 和 Step 5 Preview 仍接近 √k 而 Kimi K3 在 k=16 时另有选择。
• 专家结构：GLM-5.3、Kimi K3、DeepSeek V4.1 Flash 保留共享专家，MiMo-V2.6 不带共享专家并配 latent 压缩；Nemotron 3 Super/Ultra 和 Kimi K3 让专家在更小维度上运作。
• 量化：Kimi K3 通过 SFT 和 RL 将路由专家量化为 MXFP4，DeepSeek-V4 和 GLM-5 预训练后使用 4-bit QAT；NVIDIA 用 NVFP4 以 25T tokens 训练 Nemotron 3 Super（120B 总参/12B 激活）、20T tokens 训练 Nemotron(Ultra)，关键层保留 BF16。
• 优化器选择：DeepSeek-V4 路由器与模型其余部分一起用 Muon；Qwen3.8-Next 因早期 Muon 导致路由器不稳定改用 AdamW；逐专家用 Muon 时低频专家更新存在问题。
• 故障案例：Step 3.5 Flash 某层最大专家输出范数从中位数约 14 倍涨到 5700 倍，训练 loss 完全掩盖异常，作者用视频模拟了该故障及另外两种隐蔽故障。
• 推理服务：第 4 章进入推理部署，DeepSeek 以 EP64 起步（帖子未展开更多细节）。

为什么重要

手册把多家前沿 MoE 模型的设计差异首次系统性并列对比，并附可复制的 runbook 和真实故障案例，是进阶 MoE 训练的少有一手工程资料；作者感谢 lvwerra、Thom Wolf 等人支持，并欢迎读者在讨论区提问交流。

2026-11-06 ~ 2026-11-06 · 19 条相关

• 【源头】团队耗费 50 万 GPU 小时写出 3 万字 MoE 训练手册 — Nouamanetazi · 2026-11-06
• 团队花 50 万 GPU 小时写 3 万词 MoE 训练手册,顶级开源模型 20 席 18 席是 MoE — Nouamanetazi · 2026-11-06
• MoE 训练手册第二章：从硬件测试到首个 MoE 的实操 runbook — Nouamanetazi · 2026-11-06
• DeepSeek-V4 路由打分改用 sqrt(softplus),各大 MoE 路线分化 — Nouamanetazi · 2026-11-06
• DeepSeek-V4 前三层用 token id 哈希替代可学习路由 — Nouamanetazi · 2026-11-06
• Kimi K3 用分位数均衡替代固定步长做专家负载均衡 — Nouamanetazi · 2026-11-06
• GLM-5.3、Kimi K3、DeepSeek V4.1 共享专家设计对比 — Nouamanetazi · 2026-11-06
• 共享专家取舍：GLM/Kimi/DeepSeek 保留，MiMo 取消并配 latent 压缩 — Nouamanetazi · 2026-11-06
• 路由器该用什么优化器：DeepSeek 用 Muon，Qwen 因不稳换 AdamW — Nouamanetazi · 2026-11-06
• Step 3.5 Flash 专家输出范数暴涨 5700 倍，loss 却毫无异常 — Nouamanetazi · 2026-11-06
• NVIDIA 用 NVFP4 预训练 120B/550B MoE，关键层保留 BF16 — Nouamanetazi · 2026-11-06
• MoE 手册推理篇：Kimi、DeepSeek、GLM 均采用 4-bit QAT 后训练 — Nouamanetazi · 2026-11-06
• 【源头】作者历时数月打造 MoE 训练手册，55 张图覆盖训练全流程 — Nouamanetazi · 2026-11-06
• 作者收官发布：手册记录 Fable/Astra 一代模型如何开始攻克数学难题 — Nouamanetazi · 2026-11-06
• HF 发布终极 MoE 训练手册：基于 80 万 GH200 GPU 小时实操 — lvwerra · 2026-11-06
• 【源头】Hugging Face 烧 80 万 GPU 小时发布免费 MoE 训练手册 — Thom_Wolf · 2026-11-06

另有 3 条近重复转述:Norlax_42 · Nouamanetazi · Thom_Wolf