Muon 预训练新论文:前 44% 用权重衰减再撤掉,最终效果反而更好

ziv_ravid · x · 2026-11-19

新论文《Delayed Effects of Temporary Weight Decay in Muon Pretraining》研究了 Muon 优化器下权重衰减的时机效应:实验在训练前 44% 施加权重衰减,之后移除。

核心发现:移除衰减后模型立刻变差(比从不用衰减还差),但训练到后期反而超过一直不用衰减的基线。作者解释:早期衰减把权重范数压小,而 Muon 的特性意味着后续训练获得更大的有效步长——代价立刻显现,收益延迟到来。

所属事件:Muon预训练临时权重衰减:早用早停反超基线(8 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →