rasbt 梳理预训练新趋势:放弃 LR decay,改用恒定学习率+检查点平均

rasbt · x · 2026-11-18

Sebastian Raschka(rasbt)指出,预训练配方可能出现新趋势:不再使用学习率衰减阶段,而是采用恒定学习率并对最后 N 个检查点取平均(或运行中的权重平均),Kolibri-1 与 DatologyAI 已在用这种做法。他认为实践上更省事——不必提前承诺总训练长度。

他基于公开训练细节做了小规模归类:

引用的 DatologyAI 原帖还补充:预训练中用运行权重平均替代 LR decay,并把预上下文扩展模型合并进扩展后检查点(附消融实验增益),合并还在其 RLVR 配方中充当 MOPD 的替代手段。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →