斯坦福团队实证 EMA 权重平均:为何能降损失但略输给 LR 衰减

stanfordnlp · x · 2026-11-21

Stanford NLP 转发了 @ginojirat 在 CS312 上的系列实验,系统研究了预训练中的权重平均(weight averaging)与 EMA:

原帖还引用了 @datologyai 的实践经验:在预训练中跳过 LR 衰减、改用运行式权重平均,并把上下文扩展前后的模型做合并(merging),在消融中带来增益;合并也曾在其 RLVR 配方中作为 MOPD 的替代方案。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →