Hugging Face 发布 3 万词免费 MoE 训练手册

Hugging Face 作者 Nouamanetazi 团队发布《The Ultimate MoE Training Handbook》：基于约 50 万 GPU 小时的 MoE 训练实验整理成 3 万词的免费博客，收官帖确认含 55 张配图（宣传中称 50+ 交互式图表）。Thom Wolf 与 lvwerra 转述投入为 80 万 GH200 GPU 时（转发帖另称约 200 万美元），两处口径不一致，以作者本人帖子的 50 万 GPU 小时为准。手册面向已训练过稠密模型、想进阶 MoE 的工程师。作者引用 Artificial Analysis 数据称顶级开源模型 20 席中 18 席是 MoE，说明 MoE 已成主流、Dense 基本出局，但相关 know-how 仍集中在少数团队手中。

已确认

• 手册逐参数讲解如何用 Megatron-LM 训练 MoE，覆盖从 profiling 到大规模集群训练的完整流程；第二章是可照做的 runbook：测试硬件、构建镜像、tokenize、先训 dense baseline，再在单节点训第一个 MoE。
• 路由与均衡设计对比：Kimi K3 每层多达 896 个路由专家，放弃固定步长 bias 更新，改用从跨 GPU 汇总得分直方图求解 bias 的分位数均衡；DeepSeek-V4 前 3 个 MoE 层用 token id 固定哈希选专家，V4.1-Flash 改回全层可学习路由并把 token-id 查找移入 Engrave；DeepSeek-V4 路由打分由 sigmoid 改为 sqrt(softplus)，路由缩放因子上 GLM-5.3 和 Step 5 Preview 仍接近 √k 而 Kimi K3 在 k=16 时另有选择。
• 专家结构：GLM-5.3、Kimi K3、DeepSeek V4.1 Flash 保留共享专家，MiMo-V2.6 不带共享专家并配 latent 压缩；Nemotron 3 Super/Ultra 和 Kimi K3 让专家在更小维度上运作。
• 量化与推理：Kimi K3 通过 SFT 和 RL 将路由专家量化为 MXFP4，DeepSeek-V4 和 GLM-5 预训练后使用 4-bit QAT；NVIDIA 用 NVFP4 以 25T tokens 训练 Nemotron 3 Super（120B 总参/12B 激活）、20T tokens 训练 Nemotron(Ultra)，关键层保留 BF16。第 4 章进入推理部署与量化后训练，DeepSeek 推理服务以 EP64 起步（帖子未展开更多细节）。
• 优化器选择：DeepSeek-V4 路由器与模型其余部分一起用 Muon；Qwen3.8-Next 因早期 Muon 导致路由器不稳定改用 AdamW；逐专家用 Muon 时低频专家更新存在问题。
• 故障案例：Step 3.5 Flash 某层最大专家输出范数从中位数约 14 倍涨到 5700 倍，训练 loss 完全掩盖异常，作者用视频模拟了该故障及另外两种隐蔽故障。
• Thom Wolf 另在回复社区成员时确认，其与 HF 合作的书籍（The Nanobook）将推出纸质版，但纸质版无法保留 PDF/网页版中的交互动画。

尚未确认

• GPU 投入口径存在差异：作者本人称约 50 万 GPU 小时，Thom Wolf 与 lvwerra 称 80 万 GH200 GPU 时，转发帖称约 200 万美元，帖子未解释差异。

为什么重要

手册把多家前沿 MoE 模型的设计差异首次系统性并列对比，并附可复制的 runbook 和真实故障案例，是进阶 MoE 训练的少有一手工程资料；作者感谢 lvwerra、Thom Wolf 等人支持，并欢迎读者在讨论区提问交流。

2026-11-06 ~ 2026-11-06 · 24 条相关

• 【源头】团队耗费 50 万 GPU 小时写出 3 万字 MoE 训练手册 — Nouamanetazi · 2026-11-06
• 团队花 50 万 GPU 小时写 3 万词 MoE 训练手册,顶级开源模型 20 席 18 席是 MoE — Nouamanetazi · 2026-11-06
• MoE 训练手册第二章：从硬件测试到首个 MoE 的实操 runbook — Nouamanetazi · 2026-11-06
• DeepSeek-V4 路由打分改用 sqrt(softplus),各大 MoE 路线分化 — Nouamanetazi · 2026-11-06
• DeepSeek-V4 前三层用 token id 哈希替代可学习路由 — Nouamanetazi · 2026-11-06
• Kimi K3 用分位数均衡替代固定步长做专家负载均衡 — Nouamanetazi · 2026-11-06
• GLM-5.3、Kimi K3、DeepSeek V4.1 共享专家设计对比 — Nouamanetazi · 2026-11-06
• 共享专家取舍：GLM/Kimi/DeepSeek 保留，MiMo 取消并配 latent 压缩 — Nouamanetazi · 2026-11-06
• 路由器该用什么优化器：DeepSeek 用 Muon，Qwen 因不稳换 AdamW — Nouamanetazi · 2026-11-06
• Step 3.5 Flash 专家输出范数暴涨 5700 倍，loss 却毫无异常 — Nouamanetazi · 2026-11-06
• NVIDIA 用 NVFP4 预训练 120B/550B MoE，关键层保留 BF16 — Nouamanetazi · 2026-11-06
• MoE 手册推理篇：Kimi、DeepSeek、GLM 均采用 4-bit QAT 后训练 — Nouamanetazi · 2026-11-06
• 【源头】作者历时数月打造 MoE 训练手册，55 张图覆盖训练全流程 — Nouamanetazi · 2026-11-06
• 作者收官发布：手册记录 Fable/Astra 一代模型如何开始攻克数学难题 — Nouamanetazi · 2026-11-06
• HF 发布终极 MoE 训练手册：基于 80 万 GH200 GPU 小时实操 — lvwerra · 2026-11-06
• 【源头】Hugging Face 烧 80 万 GPU 小时发布免费 MoE 训练手册 — Thom_Wolf · 2026-11-06
• Hugging Face 团队花 200 万美元训 MoE,沉淀成公开手册 — Nouamanetazi · 2026-11-06
• Thom Wolf 透露 Hugging Face 新书将出纸质版但无交互动画 — Thom_Wolf · 2026-11-06

另有 6 条近重复转述:Norlax_42 · Nouamanetazi · Thom_Wolf · TheZachMueller · giffmana · Thom_Wolf