烧 80 万 GPU 小时写成：Ultimate MoE 训练手册免费开源

giffmana · x · 2026-11-06

Hugging Face 团队（Thom Wolf、Nouamane Tazi、Lewis Tunstall 等）发布免费的《The Ultimate MoE Training Handbook》。出发点：当今 20 个最强开源模型中有 18 个是混合专家（MoE）架构，Dense 路线基本终结，但训练好 MoE 的 know-how 仍掌握在少数团队手里。

为此团队自掏 80 万 GPU 小时跑实验，把训练 MoE 的关键问题系统整理成手册，全部公开，含大量图表与交互组件。giffmana（Sebastian Raschka）评价制作精良。对想自研 MoE 的团队是稀缺的系统性参考资料。