Muon 优化器后训练开销实测：SFT 场景 FLOPs 最多增加 54%

kastnerkyle · x · 2026-11-06

hayousoufiane 分析指出：Muon 在预训练中几乎「免费」，但在后训练或任何数据受限训练中开销显著，尤其在前沿模型规模下——因为预训练的 batch size 大得多（附图显示 700B MoE 模型 SFT 时 Muon 额外 FLOPs 达 +54%，而预训练仅 +0.2%）。关键问题在于通信：在大规模分布式训练中，如何分配计算让 Newton-Schulz（NS）正交化步骤高效执行，Adam 在这方面则友好得多。作者称将撰写博客详解，提醒任何想为大规模预训练引入新优化器的人必须了解这些分布式训练细节。