Hugging Face 烧 80 万 GPU 小时发布免费 MoE 训练手册
Thom_Wolf · x · 2026-11-06
Hugging Face 的 Thom Wolf 指出，当前 20 个最好的开源模型中 18 个是 MoE 架构，但训练好 MoE 的经验仍集中在少数团队手中。为此团队花费 80 万 GPU 小时做实验，发布了免费开放的《The Ultimate MoE Training Handbook》。
手册约 7 万词、含 55 个交互式图表与代码，围绕训练团队的实际问题组织：
- 专家数量与规模怎么定、要不要共享专家
- all-to-all 通信为何占掉一半 step 时间、如何隐藏
- 训练慢 25 倍但日志无报错的排查
- softmax/sigmoid/sqrt(softplus) 路由选择及为何保持 fp32
- 辅助损失 vs DeepSeek 的无损偏置方案
- 从 dense checkpoint 上循环升级还是从头训练
- 服务时能否用比训练更少的专家每 token
所属事件:Hugging Face 发布 80 万 GPU 时实操《终极 MoE 训练手册》(19 条相关)→
「Infra」频道最新
- 数据中心该不该自建电源？ 业内热议离网燃气轮机弊端 — aronchick · 2026-11-06
- DeepSeek V4.1 Flash 在 Isoquant 跑出 600+ tok/s,10 秒写完俄罗斯方块 — ycombinator · 2026-11-06
- 冰岛网友喊话马斯克:钻井取电建数据中心,还不受欧盟管辖 — djcows · 2026-11-06
- NVIDIA Vera CPU 实测：每瓦多跑 1.6 倍 Agent，比最快 x86 更快 — NVIDIA Blog · 2026-11-06
- 谷歌宣布在怀俄明州投 170 亿美元建大型 AI 数据中心 — Polymarket · 2026-11-06
- Coherent 营收增 50% 至 23.7 亿美元，签下 200 亿 PhotonLink 大单 — BenBajarin · 2026-11-06