Muon预训练临时权重衰减:早用早停反超基线

Meta团队(Md Rifat Arefin一作,@zivravid为合著者并连发多条解读)发布arXiv论文《Delayed Effects of Temporary Weight Decay in Muon Pretraining》:在Muon预训练的decoder-only Transformer上,仅对前44%训练施加weight decay、之后移除,移除时模型比不加decay更差,但训练结束时反而反超,最终损失低约0.028 nats,且优于尝试过的最佳恒定decay。已确认

尚未确认

为什么重要

2026-11-19 ~ 2026-11-19 · 8 条相关

一手来源