博客拆解 7 个开源前沿模型训练方法论:从注意力到后训练全流程
goyal__pramod · x · 2026-10-14
Alex Wa 发布长文,系统梳理七个开源权重前沿模型的训练方法论:SmolLM3、Intellect 3、Hermes 4、gpt-oss-120b、Kimi K2、DeepSeek-R1 和 Arcee Trinity 系列。内容以 Hugging Face 的 SmolLM3 报告为骨架,补充其他各家的报告笔记,重点讲训练方法而非基础设施。
涵盖主题包括:
- 架构选型:注意力机制(gated attention、document masking、embedding 共享、位置编码、长上下文)、MoE、混合模型
- 训练稳定性:z-loss、logit softcapping、QK-norm、RMSNorm、weight decay 等
- 优化器与超参:AdamW、Muon、学习率、batch size、scaling laws
- 数据:多阶段训练、消融、token utility、各家预训练数据策略
- Mid/post-training:SFT、sequence packing、偏好优化(PO)、各家(Kimi K2、Intellect 3、Hermes 4)后训练数据与流程,以及 evals 和 chat template
所属事件:Alex Wa 长文拆解七个开源前沿模型训练方法论(2 条相关)→
「模型」频道最新
- Vercel 上线 Gemini 4 Argon 首发模型,12 月前五折,rauchg 盛赞 Google — AccBalanced · 2026-10-14
- 自制 CrusaderBench:Gemini 4 Argon 战略游戏首秀登顶胜 Opus 5.5 — Hesamation · 2026-10-14
- Meta 新模型 Muse Wonder 无成本曲线图，被质疑不透明 — AccBalanced · 2026-10-14
- Google 向研究者免费开放 Antigravity,借 OpenAI 数学家风波抢人 — altesc_create · 2026-10-14
- 设计师实测：新模型设计能力扎实，但不引导易收敛成「AI slop」风 — zacharynado · 2026-10-14
- Google AI Plus 缩水：11 月 13 日起 Pro 模型仅限更高档订阅 — rizze_boot · 2026-10-14