手推 ResNet 十步：一个单位矩阵如何让千层网络成为可能
ProfTomYeh · x · 2026-09-12
Prof Tom Yeh 以「by hand」系列风格，用 10 步矩阵演算讲清 ResNet 残差连接的核心原理。He Kaiming 2016 年的论文是深度学习史上引用最高的论文之一，它解决了深层网络的梯度爆炸/消失问题，而修复方式简单到只有一个单位矩阵。
演算脉络
- 线性层 + ReLU：对 3 个输入向量做权重相乘、加偏置、过 ReLU，得到 F(X)。
- 拼接技巧：把单位矩阵拼在第二层权重旁、输入向量拼在特征下方——单位矩阵即残差，连线即 skip connection。
- 一次乘法算出 F(X)+X：单位矩阵把 X 原样带走，权重矩阵做变换，一次矩阵乘法同时完成变换与直连。
- Transformer 中同样的把戏：注意力模块中叠两个单位矩阵（双重残差），按列相加组合位置信息；前馈层再重复一次，按行相加组合特征。
结论：让深度网络真正「深」起来的，就是一个简单的「加法」。
「漫话AGI」频道最新
- John Schulman 等做客 Dwarkesh 播客,聊 RL、RSI 与 AGI 时间线 — ZhongRuiqi · 2026-09-12
- AI 没有杀死开发者岗位,杀死的是积压需求 — kevinsurace · 2026-09-12
- 工程师视角：GPU kernel 已输给 AI，为何没人写信抗议 — bingxu_ · 2026-09-12
- 哈佛经济学家反驳:AI 不可能既让数学 inaccessible 又让数学家失业 — soumitrashukla9 · 2026-09-12
- Noah Smith：越狱 LLM 协助造超级病毒，或成人类末日路径 — CharlieDataMine · 2026-09-12
- AI 研究员用第一性原理重新发现「许愿要小心」等老生常谈 — curious_vii · 2026-09-12