早期 decay 后权重范数难恢复:训练末期仍只有无 decay 的六成

ziv_ravid · x · 2026-11-19

在 1.4B 模型上,移除 weight decay 时权重范数仅为无 decay 对照的 12-16%,且训练结束时也只回升到 60-66%——范数一旦被早期 decay 压低便不会恢复,这正是后续等效步长变大、损失最终更低的机制基础。

所属事件:Muon预训练临时权重衰减:早用早停反超基线(8 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →