Meta 论文揭示 DiT 优化器 Muon 的大规模扩展特性

iScienceLuvr · x · 2026-08-24

Meta 与 USC 联合发表论文，研究了 Muon 优化器在 1.3B 到 15B 参数规模 Diffusion Transformers (DiT) 上的表现。研究证实 Muon 相较于 AdamW 在优化效率和生成质量上的优势在大规模下依然存在。然而，全量 NS5 迭代和动量显存化在大模型上带来了巨大的计算与通信开销。为此，论文提出了“周期性行式 Muon”（Periodic Row-wise Muon），每 K 步执行一次完整的光谱更新，其余步骤则使用低成本的基于动量的行式约束更新。