Princeton/Stanford 研究:最优优化器随 batch size 变化,排名可反转
ChengleiSi · x · 2026-10-15
Princeton、Stanford 与 UCSD 的研究者(Dang、Wen、Malladi)发表论文《The Best Optimizer Depends on Batch Size》,质疑优化器基准与 scaling 规则的通用性。
核心发现:
- 学习率等超参 scaling 规则并不像其理论宣称的那样通用,最优规则依赖任务与目标 batch size
- 即使在每个 batch size 下充分重调超参,优化器排名也会随 batch size 变化甚至反转:在带噪二次问题上,小 batch 下 SGD 可以胜过大批次占优的 Newton 法
- 用 Muon 测试各类 scaling 规则,发现在 SignSGD toy model 中学习率缩放取决于曲率与噪声的相对关系
- 在语言模型预训练中,仅保留最小 batch 更新中最尖锐 0.001% 矩阵方向的更新,可消除最多 59.5% 的 batch size 扩大带来的误差
配图显示 FineWeb 验证损失上,Lion 在 128K–2M batch 范围内明显落后,SOAP/Shampoo/Muon/Adam 表现接近且随 batch 增大同步变差。
「研究」频道最新
- Meta 用 Muse 模型建 AI 科研平台，基于500万份病历做健康研究 — _jasonwei · 2026-10-15
- Microduck 机器人仅靠 64 像素ToF实现板载SLAM重定位 — chris_j_paxton · 2026-10-15
- 新论文用 Fisher 信息解释 LLM 后训练参数更新为何稀疏 — tokenbender · 2026-10-15
- 香农忆「熵」命名往事:冯·诺依曼称没人懂熵,争论永占上风 — eigenron · 2026-10-15
- 两人小队 304 GPU 时训出 HobbyLM,算力仅为同级 1/100-1/400 — msharmas · 2026-10-15
- AReA 论文提出自适应感受野注意力，为高分辨率扩散模型提效 — Apprehensive_Sky892 · 2026-10-15