窗口必须够早:前 10% 训练做 decay 有益,60% 起反而有害

ziv_ravid · x · 2026-11-19

timing 是关键:在前 10% 训练内施加 weight decay,在 162M、405M、1.4B 三个规模都有收益;同样长度的窗口若从训练 60% 处开始,反而让最终损失变差。作者建议:调会在训练中途关闭的正则化超参时,应在训练预算终点对比各次运行。

所属事件:Muon预训练临时权重衰减:早用早停反超基线(8 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →