一图看懂:最佳优化器取决于 batch size,SOAP 与 Shampoo 排名随规模互换

ricklamers · x · 2026-10-28

ricklamers 分享 arXiv 论文 abs/2610.08975 的核心一图:在 Modded-NanoGPT 基准、固定 1.7B token 预算下,五种优化器(SOAP、Shampoo、Muon、Adam、Lion)各自调优后的 FineWeb 验证损失随 batch size 变化。结论是「最佳优化器取决于 batch size」:SOAP 在 128K 到 1M batch 时最优(最多领先 0.012 nats),但到 2M batch 跌至第三,落后 Shampoo 0.021 nats;Muon 与 Shampoo 的排名也随规模交叉(512K 时 Muon 领先 0.0035,2M 时 Shampoo 反超 0.0037)。对大模型预训练调参有直接参考价值。