新论文:Muon 预训练中临时 weight decay 的延迟效应
ziv_ravid · x · 2026-11-19
论文《Delayed Effects of Temporary Weight Decay in Muon Pretraining》:在 Muon 预训练中只对前 44% 训练施加 weight decay,之后移除。移除时模型比完全不加 decay 更差,但训练结束时反而更好——成本即时显现、收益延迟兑现。早期 decay 压低权重范数,而 Muon 下范数小意味着后续训练等效步长更大。
所属事件:Muon预训练临时权重衰减:早用早停反超基线(8 条相关)→
「研究」频道最新
- 机器人指尖触觉接入 Isaac Sim,实时生成触摸热力图 — KyleMorgenstein · 2026-11-19
- 田渊栋斯坦福 Deep Learning 课小测:训练中途解开权重共享会怎样 — tatsu_hashimoto · 2026-11-19
- 台式合成设备迭代速度翻三倍,半数厂商在中国 — JacquesThibs · 2026-11-19
- Perceptron 发布 Ego 1.0 API:自我中心视频标注成本仅 Astra 八分之一 — AkshatS07 · 2026-11-19
- 牛津论文:后训练让 LLM 世界观更灰暗,对话会滑向灵性极乐吸引子 — twiecki · 2026-11-19
- 研究者吐槽:当前环境不奖励真正的科学进步 — gerardsans · 2026-11-19