分析称 xAI 与 Kimi 训练中途切换 Muon 优化器

社区分析新模型训练配置时发现多个反常细节：有预训练从中期开始疑似从 Adam 切换到 Muon（或类 NorMuon 的行归一化变体），这与 Kimi Moonlight 论文结论相悖。另有分析指出 Kimi 新版本 k3 虽只是小版本号升级，却用相同架构与形状重做了完整预训练，更像一次「数据版本升级」，并采用两阶段训练。相关讨论还涉及 mxfp4 QAT 量化训练。

2026-09-22 ~ 2026-09-22 · 3 条相关

• 分析称 Kimi 新版小版本升级竟重做全量预训练，采用两阶段训练 — stochasticchasm · 2026-09-22
• XAI 训练疑似中途从 Adam 切换 Muon,与 Kimi Moonlight 论文结论相悖 — stochasticchasm · 2026-09-22
• 从 Adam 转向 Muon 中期训练?业界热议预训练优化器切换与 mxfp4 QAT — stochasticchasm · 2026-09-22