Hugging Face 发布 MoE 训练手册：基于 80 万 GH200 GPU 时经验
Norlax_42 · reddit · 2026-11-06
Hugging Face 作者 Nouamane（Ultra-Scale / Smol Training Playbooks 作者之一）发布《The Ultimate MoE Training Handbook》，面向已训过 dense 模型、想上 MoE 的工程师：
- 第 2 章：Megatron-LM runbook——测硬件、建镜像、训 dense 基线、再在单节点训首个 MoE 并对比基线。
- 第 3 章：拆解 MoE 层（router、routing、负载均衡、experts、block layout、训练与系统），每部分给出 Megatron-LM 代码、注意事项、官方建议及前沿 MoE 的选择；第 4 章讲 serving 与 RL，这两章无需 GPU。
- 经验来自 CSCS Alps 集群约 80 万 GH200 GPU 小时的 MoE 训练；自家结果与引用前沿模型配置的结论明确区分标注。
同时开源了 55 张图的 gallery、脚本和一份汇总全部推荐参数的 Megatron-LM 配置块。
所属事件:Hugging Face 耗数十万 GPU 小时发布免费 MoE 训练手册(20 条相关)→
「Infra」频道最新
- Dolphin Networks 实测:DeepSeek-V4.1 Flash 在 PCIe 卡上吞吐提升 3.8 倍 — AlpinDale · 2026-11-06
- 律师用 8 张 2018 年 V100 跑 DeepSeek-V4.1：代码 215 tok/s、524K 上下文全进显存 — TumbleweedNew6515 · 2026-11-06
- Hyperkernel 递归生成 megakernel,11 个领域 SOTA 并开源 — MillionInt · 2026-11-06
- 马斯克:2-3 年内太空将成为运行超智能成本最低之地 — XFreeze · 2026-11-06
- 前微软员工揭秘：Azure 每 4 天新建一座数据中心 — viksit · 2026-11-06
- 神秘卖家拟一次性抛售5亿美元数据中心贷款,涉OpenAI Stargate项目 — SumitGup · 2026-11-06