Muon becomes the default optimizer as new model drops MTP and applies QAT to KV cache
stochasticchasm 研读某新模型的技术报告后，总结出多项值得关注的架构与训练设计：该模型在训练中按注意力头切换使用 Muon 优化器（head-wise Muon），完全没有使用 Adam，作者据此判断 Muon 正在成为训练新模型的默认选择。同时，模型的多 token 预测（MTP）被移除，作者猜测是性能提升最终未能证明其价值。
已确认
- 训练采用逐头（head-wise）Muon 优化器变体，未使用 Adam
- MTP（多 token 预测）被砍掉，作者推测因性能收益不划算
- KV cache 同样经过量化感知训练（QAT），这解释了该模型在 fp4 KV cache 精度下比其他模型表现更好
- engram 部分设计少见：表大小选用互不相同的素数；使用了 4-gram，其他采用类似结构的模型未见；查找表疑似以 fp8 存储，作者猜测这是推理侧的设计
- 模型并非完全没有优化器参数：作者最初以为无 Adam 参数，更正后确认仍保留少量 Adam 优化参数，但没有任何 input/output 优化参数，仅 LM 头做 weight decay
为什么重要
- Muon 取代 AdamW 成为默认优化器的趋势若成立，将影响后续模型的训练配方
- 对 KV cache 做 QAT 对端侧与低精度（fp4）推理部署尤其有参考价值
- 素数表长、4-gram、fp8 查找表等细节为同类架构提供了新的设计线索
2026-09-11 ~ 2026-09-11 · 7 related posts
Primary sources
- Muon optimizer becomes the default as new models drop Adam entirely — stochasticchasm ·
- Model reportedly uses QAT for KV cache, explaining strong fp4 performance while dropping MTP — stochasticchasm ·
- MTP dropped in new model's tech report: fp8 lookup tables and prime table sizes noted — stochasticchasm ·
- Engram section analysis: prime-sized tables, 4-grams, and fp8 lookup tables — stochasticchasm · 2026-09-11
- [source] MTP dropped in new model's tech report: fp8 lookup tables and prime table sizes noted — stochasticchasm · 2026-09-11
- [source] Model reportedly uses QAT for KV cache, explaining strong fp4 performance while dropping MTP — stochasticchasm · 2026-09-11
- KV cache gets QAT too: why this model beats others at fp4 KV cache — stochasticchasm · 2026-09-11
- Another Model Shifts to Muon Optimizer as It Emerges as the Training Default — stochasticchasm · 2026-09-11
- [source] Muon optimizer becomes the default as new models drop Adam entirely — stochasticchasm · 2026-09-11
- No Input/Output Optimized Params, and No Weight Decay on the LM Head — stochasticchasm · 2026-09-11