François Fleuret 质问：EMA 归一化为何不如 batch 归一化流行
francoisfleuret · x · 2026-11-13
研究者 François Fleuret 发问：为什么 EMA（指数滑动平均）归一化没有更流行？他认为这比任何基于 batch 的归一化都合理得多，并补充「别告诉我它不管用」。
这是对训练技术路线的公开观点，指向 batch 统计量归一化（如 BatchNorm）与滑动平均统计替代方案之间的取舍，可能引发关于归一化方法选择的讨论。
「研究」频道最新
- METR 任务时长曲线被指过于悲观,作者按最新数据重做拟合 — lxrjl · 2026-11-13
- Meta 研究员 Papailiopoulos：AI 训练的未来是「完全定制」的 agent 编译器 — DimitrisPapail · 2026-11-13
- 用对比损失微调 CLIP 常因数据不足而失败，OpenCLIP 4.x 更易上手 — wightmanr · 2026-11-13
- 交互即裁判：纯交互奖励微调 Qwen-3.5-9B 胜率提升 6.7pp — arena · 2026-11-13
- 训练细节点评:Q/K norm 带gamma而 V norm 不带,注意力残差拆分引关注 — stochasticchasm · 2026-11-13
- 新架构采用 QK-Norm 带 gamma、V-Norm 无 gamma 的不对称设计引关注 — stochasticchasm · 2026-11-13