机制实锤:Muon 早期 weight decay 收益随权重范数迁移
ziv_ravid · x · 2026-11-19
作者在 162M 规模直接验证机制:固定范数、不加 decay 地重放早期 decay 的 step-size 轨迹,能得到相近的收益;把两次训练的范数互换,收益也随之移动——单向带走 96%,另一向 97%。说明 Muon 下临时 weight decay 的收益确实由权重范数(等效步长)通路传递。
所属事件:Muon预训练临时权重衰减:早用早停反超基线(8 条相关)→
「研究」频道最新
- 「物理停滞 50 年?」PRL 新论文用摩擦加热解释冰为什么滑 — CatAstro_Piyush · 2026-11-19
- TMol 论文发布:把 Rosetta 全原子分子能量搬进 PyTorch 可微分层 — gottapatchemall · 2026-11-19
- ELLIS图宾根安全团队公开horizon-labs智能体轨迹数据集 — NielsRogge · 2026-11-19
- Noam Brown 确认「解纳维-斯托克斯」的是强数学模型,haider 推测为数学微调版 — haider1 · 2026-11-19
- UVA 学者 11 月 18 日在线讲 LLM 自动生成心理测量题目的新框架 — GolinoHudson · 2026-11-19
- 学者称同行评审体系已到临界点,会议规模越大越难维系 — LucaAmb · 2026-11-19