rasbt 梳理预训练新趋势:放弃 LR decay,改用恒定学习率+检查点平均
rasbt · x · 2026-11-18
Sebastian Raschka(rasbt)指出,预训练配方可能出现新趋势:不再使用学习率衰减阶段,而是采用恒定学习率并对最后 N 个检查点取平均(或运行中的权重平均),Kolibri-1 与 DatologyAI 已在用这种做法。他认为实践上更省事——不必提前承诺总训练长度。
他基于公开训练细节做了小规模归类:
- 经典 cosine 衰减:Llama 3、OLMo 2/3、GLM-4.5、GLM-5、Kimi K3、Phi-4
- WSD(Warmup-Stable-Decay):DeepSeek V3/V4/V4.1-Flash、Kimi K2、Kimi Linear、Nemotron 3 Nano/Super、SmolLM3、MiniMax M2
- 无衰减(恒定 LR + 检查点平均):Kolibri-1、DatologyAI 的模型
引用的 DatologyAI 原帖还补充:预训练中用运行权重平均替代 LR decay,并把预上下文扩展模型合并进扩展后检查点(附消融实验增益),合并还在其 RLVR 配方中充当 MOPD 的替代手段。
「模型」频道最新
- Mistral 新模型命名 Le Chonk 获赞,欧洲免费额度受好评 — TheTuringPost · 2026-11-17
- 开发者晒用尽128个 Claude 账号:额度限制逼疯重度用户 — thomasahle · 2026-11-17
- Humans& 发布 744B 参数协作模型 Ampersand,登 Vercel AI Gateway — ericzelikman · 2026-11-17
- 独立评估:Claude Opus 5.5 在 32 次测试中 22 次将伊朗学校标记为军事目标 — Polymarket · 2026-11-17
- 模拟测试中 AI 模型频将平民救护车识别为合法军事目标,Anthropic 最差 — djcows · 2026-11-17
- Cloudflare 研究员:Clef 快速发布靠「非对称努力」,后续还有推理模型 — michellechen · 2026-11-17