训练中期冻结残差流 RMS 几乎无损，验证损失仅涨 0.0043
tatsu_hashimoto · x · 2026-11-13
普林斯顿 Tatsu Hashimoto 用 CS312 测验题分享了一组训练实验：训练 35M 参数、8 层 Transformer 语言模型 9375 步，在中途（第 4688 步）把每层残差连接后的 RMS 归一化值冻结。
- 结果：最终验证损失仅比对照组高 +0.0043，几乎无影响。
- 反差：若从初始化就固定残差范数则是灾难性的——默认模型验证损失 2.9264，固定初值后恶化到 6.8746。
- 解释：残差流的尺度在训练早期大幅变化，从初始化固定会干扰这一过程；训练过半后各深度的激活 RMS 已形成稳定轮廓，此后冻结影响甚微。
这一现象与早期 post-norm vs pre-norm 研究中的观察相呼应，揭示 LayerNorm 与残差连接在训练动力学中的交互规律。
所属事件:实验：训练中途冻结残差流 RMS 几乎无损(2 条相关)→
「研究」频道最新
- METR 任务时长曲线被指过于悲观,作者按最新数据重做拟合 — lxrjl · 2026-11-13
- Meta 研究员 Papailiopoulos：AI 训练的未来是「完全定制」的 agent 编译器 — DimitrisPapail · 2026-11-13
- 用对比损失微调 CLIP 常因数据不足而失败，OpenCLIP 4.x 更易上手 — wightmanr · 2026-11-13
- 交互即裁判：纯交互奖励微调 Qwen-3.5-9B 胜率提升 6.7pp — arena · 2026-11-13
- 训练细节点评:Q/K norm 带gamma而 V norm 不带,注意力残差拆分引关注 — stochasticchasm · 2026-11-13
- 新架构采用 QK-Norm 带 gamma、V-Norm 无 gamma 的不对称设计引关注 — stochasticchasm · 2026-11-13