曲率条件多尺度动量新优化器:显著加速 Muon,覆盖 0.12B-2.3B 模型

YouJiacheng · x · 2026-09-17

arXiv 论文《Curvature-Conditioned Multiscale Momentum with Sphere Constraints for LLM Pretraining》提出一种针对 LLM 预训练的新优化方法。核心思路：AdamW/Muon 依赖梯度归一化，对病态曲率的缓解有限，主导最终 loss 下降的平坦方向进展缓慢；该方法仅在平坦方向上应用多尺度动量——慢衰减分量降噪、快衰减分量快速适应曲率——并用球面约束防止参数膨胀和有效学习率过快衰减。

实验显示该方法在 dense 与 MoE 架构、0.12B–2.3B 参数规模上均显著加速 Muon，作者同时给出理论验证与设计原理分析。