Muon 预训练临时权重衰减研究:前期更差、训练结束反超 0.028 nats
ziv_ravid · x · 2026-11-19
Meta 团队(Md Rifat Arefin 一作)发布 arXiv 论文《Delayed Effects of Temporary Weight Decay in Muon Pretraining》,研究 decoder-only Transformer(162M–3.4B 参数)中临时权重衰减的延迟效应。
核心发现
- 只在训练前 44% 应用 weight decay,之后移除:移除时验证 loss 比不用衰减更差,但训练结束反而更好。
- 在 1.4B 模型上,把在 162M 选出的衰减窗口不调参直接迁移:移除时比不用衰减差 0.26 nats,训练过 73% 后反超,最终好 0.028 nats,还胜过最优的恒定衰减基线。
- 对 ≤1.4B 模型,把衰减窗口从训练早期挪到后期会反转最终效果;162M 上即使总收缩量近似匹配,窗口时长也会改变最终 loss。
机制
- 早期衰减留下持久的权重范数亏空,干预结束后相对步长保持较大。
- 近似范数动力学递推能刻画相对步长的慢收敛;固定范数回放复现了性能排序。162M/405M 上的范数重置实验表明,衰减窗口结束时更小的权重范数解释了大部分最终 loss 改善。
局限
- 大部分为单种子实验;在 405M 的 AdamW+ReLU² 上无帮助;405M 和 1.4B 的下游评测相较恒定衰减无明显优势;尚不能解释为何这条步长轨迹是好的。
「Infra」频道最新
- Bill Ackman 批英伟达董事会「重大治理失误」:过早排除黄仁勋回归 — Polymarket · 2026-11-19
- 5060 Ti 16GB vs 5070 12GB:跑本地 AI,显存和速度该怎么选 — BuckinBronco999 · 2026-11-19
- Google 工程师 rakyll 转向 Kubernetes,要在编排层做 agentic 计算 — rakyll · 2026-11-19
- Arm CEO:与 NVIDIA 合作不变,AI 如当年的铁路热 — BenBajarin · 2026-11-19
- Blackstone 总裁直言 AI「高泡沫预警」但负面情绪过头 — BenBajarin · 2026-11-19
- YC 项目 Tilion 发布:号称最快最隐蔽的 agent 浏览器基建 — joshalbrecht · 2026-11-19