Muon 预训练临时权重衰减研究:前期更差、训练结束反超 0.028 nats

ziv_ravid · x · 2026-11-19

Meta 团队(Md Rifat Arefin 一作)发布 arXiv 论文《Delayed Effects of Temporary Weight Decay in Muon Pretraining》,研究 decoder-only Transformer(162M–3.4B 参数)中临时权重衰减的延迟效应。

核心发现

机制

局限

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →