作者历时数月打造 MoE 训练手册，55 张图覆盖训练全流程
Nouamanetazi · x · 2026-11-06
Hugging Face 作者 Nouamanetazi 发布《The Ultimate MoE Training Handbook》，历时数月深入调研 MoE 训练，附全部 55 张配图，感谢 lvwerra、Thom Wolf 等人支持，算力由 Swiss AI、Martin Jaggi 等提供。
手册结论部分把手册推荐的所有配置旗标汇总为一个 Megatron-LM 代码块，每个旗标都标注了对应论证章节；作者建议逐组引入并逐一对照前次运行测量，因为各项收益不一定可叠加。
所属事件:Hugging Face 发布 80 万 GPU 时经验的免费 MoE 训练手册(20 条相关)→
「Infra」频道最新
- 纯软件优化 4.6 倍:Qwen3.8-27B 单卡 3090 跑出 381 tok/s — Redo · 2026-11-06
- Dolphin Networks 实测:DeepSeek-V4.1 Flash 在 PCIe 卡上吞吐提升 3.8 倍 — AlpinDale · 2026-11-06
- 律师用 8 张 2018 年 V100 跑 DeepSeek-V4.1：代码 215 tok/s、524K 上下文全进显存 — TumbleweedNew6515 · 2026-11-06
- Hyperkernel 递归生成 megakernel,11 个领域 SOTA 并开源 — MillionInt · 2026-11-06
- 马斯克:2-3 年内太空将成为运行超智能成本最低之地 — XFreeze · 2026-11-06
- 前微软员工揭秘：Azure 每 4 天新建一座数据中心 — viksit · 2026-11-06