Thom Wolf 花费 80 万 GPU 小时发布免费《MoE 训练终极手册》
Thom_Wolf · x · 2026-11-06
Mistral 联合创始人 Thom Wolf 指出：当前 20 个最佳开源模型中 18 个是 MoE 架构，Dense 模型基本已出局，但训练好 MoE 的 know-how 仍掌握在少数团队手中。
为此团队耗资 80 万 GPU 小时亲自跑实验，发布了免费开放的《The Ultimate MoE Training Handbook》，围绕训练团队的实际问题组织：
- 专家数量与规模怎么定、要不要共享专家；
- 为什么一半训练时间耗在 all-to-all 通信、如何隐藏；
- 为什么训练会无报错地慢 25 倍；
- softmax/sigmoid/sqrt(softplus) 路由怎么选、为何保持 fp32；
- 辅助损失 vs DeepSeek 的无损偏置方法；
- Dense 模型如何 upcycle 成 MoE 等。
所属事件:Hugging Face 耗数十万 GPU 小时发布免费 MoE 训练手册(20 条相关)→
「Infra」频道最新
- Hyperkernel 递归生成 megakernel,11 个领域 SOTA 并开源 — MillionInt · 2026-11-06
- 马斯克:2-3 年内太空将成为运行超智能成本最低之地 — XFreeze · 2026-11-06
- 前微软员工揭秘：Azure 每 4 天新建一座数据中心 — viksit · 2026-11-06
- 神秘卖家拟一次性抛售5亿美元数据中心贷款,涉OpenAI Stargate项目 — SumitGup · 2026-11-06
- Vercel 推出 Schedules 公测：Agent 可运行时自建定时任务 — cramforce · 2026-11-06
- Harbinger 获 2.4 亿美元 D 轮融资,电动化被视为 AI 时代关键瓶颈 — NYCounihan · 2026-11-06