AIR 调度器:按有效学习率设计,128B token MoE 预训练超越 cosine
stochasticchasm · x · 2026-10-30
复旦团队(邱锡鹏组方向,Qifan Yu、Di He 等)发布 arXiv 论文,研究 weight normalization(WN)训练与 weight decay(WD)的差异来源,并提出新学习率调度器 AIR。
核心发现:
- WN 训练近期的预训练损失收益,主要来自它诱导的有效学习率(ELR)轨迹,而非归一化本身;让 ELR 轨迹匹配后,WN 与 WD 的训练损失动态基本重合
- 主张调度设计应以 ELR 而非名义 LR 为目标,提出 AIR(Affine Inverse-square-Root decay):理论推导的 1/√t 衰减加仿射调整,以精确满足有限训练长度内的峰值与末端 LR 约束
- 发现晚期 ELR 调度是收益关键:共享的后期调度会削弱早期 LR 选择的影响
- 在 128B token 的 MoE 预训练上,AIR 在训练损失、下游性能和超参鲁棒性上均优于 cosine 等调度,同等累计 LR 下终端损失降低约 0.01
- 把同一 ELR 轨迹用于 WD 也能复现相应收益,说明 ELR 才是有原则的调度基础
「研究」频道最新
- 新论文「Heads Of Security」：定位注入攻击注意力头并改写其模式 — jonasgeiping · 2026-10-31
- UMass 团队发布 BATv1：3429 个转录因子结合 ChIP-seq 模型图谱 — jmschreiber91 · 2026-10-31
- UCLA 推出 ChairNav：会学习乘客偏好的自主导航轮椅 — zhoubolei · 2026-10-31
- 合成数据重写该花多少算力？新研究用 scaling laws 给出答案 — ChengleiSi · 2026-10-31
- 花叔开源全球 11064 种鸟类贴纸库,AI 画图消耗超 10 亿 token — AlchainHust · 2026-10-31
- Epoch AI：AI 芯片算力年增 2.5 倍，增速较 2023 年明显放缓 — rohanpaul_ai · 2026-10-31