NVIDIA 研究称 SOAP 和 Muon 在大模型预训练中优于 AdamW
sudoraohacker · x · 2026-07-24
NVIDIA 这篇论文在讨论 LLM 预训练优化器如何继续扩展到更大规模。
- 论文认为，Muon 和 SOAP 这类更高阶优化器相比 AdamW 收敛更快，但一直受限于计算开销和数值稳定性。
- 作者针对 SOAP 在大 batch 场景下的不稳定，提出了包括 逐步 QR 正交化、改进预条件等算法修改，用来消除 loss spike 并稳定训练。
- 他们用统一设置比较了 SOAP、Muon、AdamW，并发现前两者在测试尺度上都持续优于 AdamW。
- 在多十亿参数、万亿 token 训练实验中，这些优化器在 最高 1 亿 token batch 的 next-token 预测下仍能保持稳定，而 AdamW 会退化。
- 论文还给出一个兼容 Megatron-LM 的 分层分布式优化器 实现，并开源了代码：NVIDIA-NeMo/Emerging-Optimizers。
所属事件:NVIDIA 论文指 SOAP 与 Muon 优化器优于 AdamW(3 条相关)→
「Infra」频道最新
- Unconventional AI 收购 NeuReality,冲刺算力效率提升 1000 倍 — NaveenGRao · 2026-10-27
- 马斯克断言:机器人 RAM 需求将超其他一切,超级智能算力将移向深空 — elonmusk · 2026-10-27
- RTX 5090 卖到 7000 美元，PC 游戏社区集体否认 AI 热潮 — PAstynome · 2026-10-27
- Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27
- 6 个月被抢超 1 亿美元：盗贼用 GPS 欺骗劫走数据中心货物 — Ars Technica AI · 2026-10-27