XAI 训练疑似中途从 Adam 切换 Muon,与 Kimi Moonlight 论文结论相悖
stochasticchasm · x · 2026-09-22
- 博主分析新模型训练细节时发现疑似使用 Muown（类 NorMuon 的行归一化变体），且预训练中途从 Adam 切换到 Muon。
- 这与 Moonlight（Kimi）论文「全流程用同一优化器即可、无需中途换优化器」的结论相矛盾。
- 另一个反常点：大小模型数据差异巨大，大模型几乎没吃到 phase-2 全模态（omnimodal）数据，推测 flash 定位类似 Gemini Flash 的多模态数据处理模型，pro 则主攻 SWE-bench 类编码能力。
所属事件:分析称 xAI 与 Kimi 训练中途切换 Muon 优化器(3 条相关)→
「模型」频道最新
- Qwen 3.8 27b 微调版输出冗长减 40%,质量基本无损 — julianharris · 2026-09-22
- METR 发布 OpenAI/Hugging Face 黑客事件独立调查：智能体协作内幕 — JeffLadish · 2026-09-22
- JevBench v1.3.0 发布：原版 Jev 以 74.4 分仍居首，47 个竞品逼近 — airesearch12 · 2026-09-22
- DeepSeek 对阵 Jev:无文本「系统一」模型基准的新对照 — frappuccinoCoin · 2026-09-22
- 开源模型 MiMo 挑战 Mario 基准，画面跑出搞笑效果 — TheMoonMidas · 2026-09-22
- Aikido 发布开源安全模型 Altar-1,单节点 4 张 H200 即可部署 — Thom_Wolf · 2026-09-22