作者自曝局限:早期 decay 结论基于单种子,大模型无明确收益

ziv_ravid · x · 2026-11-19

作者坦承实验局限:结论大多来自单种子;在 405M 用 AdamW + ReLU² 时该方法无效;405M 与 1.4B 的下游评测也未显示相对恒定 decay 的明确优势;且尚不能解释为何这条 step-size 轨迹是好的。

所属事件:Muon预训练临时权重衰减:早用早停反超基线(8 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →