斯坦福团队实证 EMA 权重平均:为何能降损失但略输给 LR 衰减
stanfordnlp · x · 2026-11-21
Stanford NLP 转发了 @ginojirat 在 CS312 上的系列实验,系统研究了预训练中的权重平均(weight averaging)与 EMA:
- 理论背景(河谷景观模型):模型训练沿「河流方向」(真实进展)前进,同时伴随「山谷方向」的剧烈震荡(沿 Hessian 顶部特征向量的连续更新余弦相似度为 -1)。平均操作(EMA 等)可以把快速变化的山谷方向抵消掉,只留下河流方向——这就是平均近期 checkpoint 能降低损失的原因。
- 实验结果:在他们的模型体系中,EMA 略逊于 LR 衰减。原因是 EMA 在河流方向上维护了一个「滞后」的进度副本,而 LR 退火直接沿山谷下降、不会混入过期的 checkpoint。
- 适用条件:该结论在稳定性边缘、全批量梯度下降下成立;SGD 下的情况仍在探索中。
原帖还引用了 @datologyai 的实践经验:在预训练中跳过 LR 衰减、改用运行式权重平均,并把上下文扩展前后的模型做合并(merging),在消融中带来增益;合并也曾在其 RLVR 配方中作为 MOPD 的替代方案。
「研究」频道最新
- 理论计算机科学突破:William Hoza 证明 NL = UL — fortnow · 2026-11-21
- 数学家解析黎曼猜想为何难:zeta 在 4/5 线可任意逼近零点 — AlexKontorovich · 2026-11-21
- 斯坦福实验:停用 AI 两周能降低孤独感并增加现实社交 — stanfordnlp · 2026-11-21
- DOCKET 基准:LLM 写的政策意见仅 18-30% 对得上真人反馈 — stanfordnlp · 2026-11-21
- 斯坦福 AI100 2026 报告发布:Scaling 时代与生成式 AI 成为主流 — stanfordnlp · 2026-11-21
- 新基准揭示前沿模型多智能体协作普遍不佳 — AlexGDimakis · 2026-11-21