斯坦福 CS312 测验:训练中途冻结 residual 流 RMS 会怎样?

tatsu_hashimoto · x · 2026-11-13

斯坦福 Hashimoto 的「Deep Learning Alchemy」课程预测题,考察对 residual 连接与 LayerNorm 交互的直觉:训练一个 35M 参数、8 层 Transformer 语言模型共 9375 步,在第 4688 步分叉出两条继续训练的路径——对照组正常训练,实验组在每次 attention/MLP residual 相加后,把激活值重新缩放到分叉点时测得的固定 RMS 目标(基于 16 条验证序列测量后冻结,类似 post-norm 的固定尺度缩放,但无均值中心化、无可学习增益)。问:最终验证 loss 相比对照组变化多少?选项从「改善超 0.02」到「恶化超 0.15 或发散」。

这类题的价值在于逼你思考:residual 流的尺度在训练中如何漂移、冻结它为何(或为何不)破坏后续层的适配。