团队花 50 万 GPU 小时写 3 万词 MoE 训练手册,顶级开源模型 20 席 18 席是 MoE
Nouamanetazi · x · 2026-11-06
作者团队花费约 50 万 GPU 小时优化 MoE 训练,发布了 3 万词、含 50+ 交互图表的《Ultimate MoE Training Handbook》,覆盖从 profiling 到大规模集群训练的全流程。配套数据:Artificial Analysis 指数前 20 的开源权重模型中 18 个是 MoE,榜首为 DeepSeek V4.1 Flash;仅有的两个 dense 模型 Nanbeige4.3-33B 和 Qwen3.8 27B 只排第 12、13 位——开源前沿已全面稀疏化。
所属事件:Hugging Face 发布 80 万 GPU 时实操《终极 MoE 训练手册》(19 条相关)→
「模型」频道最新
- 120B 开源模型经 Surge RL 训练，12 项基准全面逼近 GPT-5.6 — echen · 2026-11-06
- DeepSeek V4.1 Flash 在 Isoquant 跑出 600+ tok/s,10 秒写完俄罗斯方块 — ycombinator · 2026-11-06
- METR 谈模型评估证据：多数证据存在多种合理解读 — morqon · 2026-11-06
- 蚂蚁 Ling-3.2-flash 发布：560B 参数多模态模型称胜 Claude Opus 5 — realmrfakename · 2026-11-06
- Qwen 微调版 OrcaCyber-Nano-1.0 被赞接近前沿模型体验 — JackMasterN1 · 2026-11-06
- Grok 出现莫名 Cursor 扣费,官方道歉引「AI 管账」质疑 — alexcovo_eth · 2026-11-06