梯度为何在训练末期激增：Defazio 论文揭示权重衰减与 LR 调度的隐形互作
aaron_defazio · x · 2026-11-09
Aaron Defazio（arXiv:2506.02285）解释了 LLM 长时间训练中梯度范数在末期迅速上升的原因：这是权重衰减、归一化层和学习率调度三者意外相互作用的结果。
- 梯度更新会推高权重范数，权重衰减则压低它，两者在训练中达到动态平衡，权重范数大致恒定。
- 学习率调度在训练末期降低 LR，使权重衰减相对变强，权重范数随之收缩。
- 对于尺度不变网络 f(cw)=f(w)，梯度与权重大小成反比：权重变小反而产生更大梯度（可从 wᵀ∇L=0 推出 ∇L(cw)=(1/c)∇L(w)）。
- 修复方法很简单：随 LR 变小按比例缩小权重衰减（AdamC 的做法；引用帖推导指出每步实际权重衰减应按 (当前lr/peak lr) 的平方缩放），该修正还能让全程 loss 更低。
「研究」频道最新
- 腾讯开源 TailorRig:39073 个带骨骼绑定的人体网格数据集 — _akhaliq · 2026-11-10
- P²-MOPD:专家权重作先验,多教师蒸馏步数减半 — _akhaliq · 2026-11-10
- 快手 KlingAI 发布 LongBanana:长上下文多参考图像合成基准 — _akhaliq · 2026-11-10
- 卫星影像配准还在用经典互相关，现代图像匹配器缺基准 — gabriberton · 2026-11-10
- Epoch AI 研究员：所谓算法进步大部分可能来自更好的数据 — S_OhEigeartaigh · 2026-11-10
- Qdrant 在 CIKM Rome 分享生产级向量索引原生相关性反馈实践 — qdrant_engine · 2026-11-10