AdamW 批大小缩放法则被 ICLR 论文实证：LR 与 WD 同按 √k 缩放

orvieto_antonio · x · 2026-10-29

Antonio Orvieto 团队转推 Enea Monzio Compagnoni 等人的论文《Adaptive Methods through the Lens of SDEs》(arXiv 2411.15958)：用随机微分方程刻画 SignSGD、RMSprop、AdamW 等自适应优化器，并推出 AdamW 的批大小缩放法则（Lemma 3.13）。
该法则：批大小 B→B×k 时，学习率 LR→LR×√k、权重衰减 WD→WD×√k、动量系数 βᵢ→1−√k×(1−βᵢ)。
论文已在 MLP/CNN/ResNet/Transformer 等架构上用 Euler-Maruyama 数值积分验证 SDE 能准确追踪优化器行为；缩放法则随后被一篇 ICLR 2026 论文实证验证。
背景是 Stanford CS312《Deep Learning Alchemy》的考题：把 LM 训练批大小扩大 8 倍（token 预算不变），缩放学习率或权重衰减能否补偿？

「研究」频道最新