字节 Seed 论文:权重归一化训练收益源于有效学习率轨迹

ByteDance-Seed · hf · 2026-10-30

字节跳动 Seed 与北京大学的论文指出，权重归一化（WN）训练近来报告的预训练损失收益，主要来自其诱导的有效学习率（ELR）轨迹变化，而非归一化本身——只要匹配 ELR 轨迹，WN 与传统权重衰减（WD）的训练损失动态基本趋同。因此调度设计应瞄准 ELR 而非名义学习率。基于这一原则，作者提出 AIR（Affine Inverse-square-Root decay）仿射逆平方根调度，能同时改善大规模预训练损失与鲁棒性。