实验：训练中途冻结残差流 RMS 几乎无损

普林斯顿 Tatsu Hashimoto 以斯坦福 CS312「Deep Learning Alchemy」课程测验题形式分享实验：训练一个 35M 参数、8 层 Transformer 语言模型 9375 步，在第 4688 步中途冻结 residual 流的 RMS。结果显示验证损失仅上涨 0.0043，几乎无损，验证了对 residual 连接与 LayerNorm 交互的直觉理解。

2026-11-13 ~ 2026-11-13 · 2 条相关

• 斯坦福 CS312 测验:训练中途冻结 residual 流 RMS 会怎样? — tatsu_hashimoto · 2026-11-13
• 训练中期冻结残差流 RMS 几乎无损，验证损失仅涨 0.0043 — tatsu_hashimoto · 2026-11-13