开源前 20 模型 18 个用 MoE，HF 耗 80 万 GPU 小时写训练手册
FinanceYF5 · x · 2026-11-09
当前排名前 20 的开源模型中已有 18 个采用 MoE 架构，Dense 路线几乎退场，但真正掌握 MoE 训练方法的团队仍然很少。
Hugging Face 投入 80 万 GPU 小时，整理出一份约 7 万字的免费手册，包含 55 张交互图、实验数据和可运行代码，适合做模型训练的人参考。
所属事件:Hugging Face 耗 80 万 GPU 小时发布免费 MoE 训练手册(2 条相关)→
「模型」频道最新
- 爆料称 Opus 5.5 仅 10B 激活参数，用户已用 handover.md 迁移到 Qwen-4-Flash — teortaxesTex · 2026-11-09
- 「基准像香水：能闻不能喝」——公开榜单该信多少？ — intellectronica · 2026-11-09
- 并发跑满 20 条线程仅用 17% 额度:$200 Claude 订阅性价比惊人 — cyrus_zei · 2026-11-09
- Grok Bot 用量遭质疑暗改规则，xAI 扛不住舆情宣布重置 — xiaohu · 2026-11-09
- 加两 token 注释让 Host B 成功率翻倍：同权重不同托管差异悬案 — No_Pea_6625 · 2026-11-09
- HN 热议：Claude Opus 5.5 疑被削弱，11 月 3 日起思维模式生变 — rzk · 2026-11-09