博主啃斯坦福CS31深度学习课：残差连接比归一化更决定生死

stanfordnlp · x · 2026-11-13

一位博主在博客上分享做斯坦福 CS31 深度学习课测验的思考。题目要求预测移除 Transformer 各架构组件后验证损失的变化，他发现自己低估了残差连接相对归一化层的重要性。

由此他更新了心智模型：有些机制决定模型「能算什么」（如残差连接），有些机制决定模型「能否可靠学会这个计算」（如归一化）。文章进一步用向量分解（长度 × 方向）的数学视角分析 RMSNorm 的作用：去掉 PreNorm 但保留残差连接并不必然导致隐藏状态爆炸——若只是残差流的向量长度变大三倍而方向不变，注意力对特征的相对模式未必剧烈变化，RMSNorm 正是为削弱这种尺度敏感性而设计。