Hugging Face 烧 80 万 GPU 小时，发布免费开源 MoE 训练手册
Thom_Wolf · x · 2026-11-06
Hugging Face 联创 Thom Wolf 宣布发布《The Ultimate MoE Training Handbook》，免费开放。背景：当前 20 个最强开源模型中有 18 个是 MoE 架构，Dense 基本出局，但训练好 MoE 的经验仍集中在极少数团队手中。
为此 HF 团队亲自跑了 80 万 GPU 小时 的实验，把结论全部写进手册，围绕训练团队实际会遇到的问题组织内容：
- 专家数量与规模如何定、要不要共享专家
- 为什么一半的 step 时间耗在 all-to-all 通信上、如何掩盖它
- 为什么 run 慢 25 倍却无报错日志
- 路由器用 softmax、sigmoid 还是 sqrt(softplus)，为何要保持 fp32
- aux loss 还是 DeepSeek 的 loss-free bias
- 如何把 dense 模型 upcycle 成 MoE
所属事件:Hugging Face 发布免费《终极 MoE 训练手册》(25 条相关)→
「模型」频道最新
- Claude Opus 5 展现多层角色扮演：入戏同时自知在演戏 — repligate · 2026-11-06
- Inkling 2 Small APEX-Agent 46.8%,较前代涨 13 分,会计榜开源第二 — ziqiao_ma · 2026-11-06
- Thinking Machines 团队成员转发 Inkling 2 Small 发布消息 — simonguozirui · 2026-11-06
- Inkling 2 Small 以 1/8 价格逼近顶级编程模型 — echen · 2026-11-06
- 开发者吐槽：Anthropic 免费额度竟不能用在 Code 和终端 — RileyRalmuto · 2026-11-06
- 62 人盲听实测：8 大 LLM 写钢琴曲 Gemini 66% 胜率居首 — antiochIst · 2026-11-06