Alex Wa 长文拆解七家前沿模型训练方法论:MoE、数据与训练配方对比

goyal__pramod · x · 2026-10-14

Alex Wa 的博客文章《frontier model training methodologies》系统梳理了七个开放权重前沿模型的训练方法：Hugging Face SmolLM3、Prime Intellect INTELLECT 3、Nous Research Hermes 4、OpenAI gpt-oss-120b、Moonshot Kimi K2、DeepSeek-R1 与 Arcee Trinity 系列。

文章以 SmolLM3 报告为主要骨架，辅以其他各家的技术报告笔记，重点讲训练方法论而非基础设施，涵盖 MoE 架构（router 的 top-k 门控等）、数据配方、动机与取舍，也涉及 in-flight weight updates、multi-client orchestrators、expert parallelism 与量化等话题。推荐者称其为近期少见的高质量技术长文。