普林斯顿等研究：最优优化器随 batch size 变化，排名会反转

_arohan_ · x · 2026-11-13

Xingyu Dang（普林斯顿）、Kaiyue Wen（斯坦福）、Sadhika Malladi（UCSD）的研究《The Best Optimizer Depends on Batch Size》，由 arohan 转发。核心结论：

超参 scaling 规则并非在所有训练设置下一致有效：最优规则取决于任务和目标 batch size；
即使对每个 batch size 充分重调超参，优化器排名仍会随 batch size 变化而反转（AlgoPerf、NanoGPT 等基准均在固定 batch size 下排名，掩盖了这一点）；
SignSGD 玩具模型中，学习率缩放取决于曲率相对噪声的关系；噪声二次问题上小 batch 时 SGD 可胜、大 batch 时 Newton 可胜；
语言模型预训练中，将小 batch 更新保持在矩阵方向最锐利的 0.001% 区间，可消除最多 59.5% 的 batch size 扩大带来的误差；
论文用 Muon 测试各 scaling 规则的跨任务表现。

「研究」频道最新