新论文:Muon 预训练中临时 weight decay 的延迟效应

ziv_ravid · x · 2026-11-19

论文《Delayed Effects of Temporary Weight Decay in Muon Pretraining》:在 Muon 预训练中只对前 44% 训练施加 weight decay,之后移除。移除时模型比完全不加 decay 更差,但训练结束时反而更好——成本即时显现、收益延迟兑现。早期 decay 压低权重范数,而 Muon 下范数小意味着后续训练等效步长更大。

所属事件:Muon预训练临时权重衰减:早用早停反超基线(8 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →