机制实锤:Muon 早期 weight decay 收益随权重范数迁移

ziv_ravid · x · 2026-11-19

作者在 162M 规模直接验证机制:固定范数、不加 decay 地重放早期 decay 的 step-size 轨迹,能得到相近的收益;把两次训练的范数互换,收益也随之移动——单向带走 96%,另一向 97%。说明 Muon 下临时 weight decay 的收益确实由权重范数(等效步长)通路传递。

所属事件:Muon预训练临时权重衰减:早用早停反超基线(8 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →