手算演示残差连接如何撑起深层神经网络
ProfTomYeh · x · 2026-07-28
亲手算一遍 ResNet 和 Transformer 的残差连接
这是一篇偏教学向的技术帖，用小矩阵和逐步推导把残差连接讲透。
作者先回顾了 ResNet 的核心思想：通过一条 identity shortcut，让一个 block 计算出 F(x) + x。这个“加回输入”的技巧能缓解深层网络里常见的梯度消失和梯度爆炸问题，也是深层网络真正可行的关键之一。
随后，帖子把同样的思路搬到 Transformer 里：
- 在 attention 中，残差路径把注意力输出和输入合并
- 在 feed-forward 层中，再次通过 identity 保留并叠加原始信号
整篇内容的结论很直接：看似只是一个简单的“加法”，却是深度神经网络能够继续加深的重要原因。
「研究」频道最新
- ripgrep 崩溃排查最终查出内核 TLB 竞态 — BenBajarin · 2026-07-28
- 课程学习可防止强化学习智能体靠随机碰运气 — ShawnHymel · 2026-07-28
- OpenAI 和 Anthropic 未来可能要和客户自己的数据闭环竞争 — bigdata · 2026-07-28
- SWE-rebench 扩展到 5 种语言，并加入本地 Qwen 模型 — Fabulous_Pollution10 · 2026-07-28
- 巴塞尔大学招聘 LLM 训练方向博士与博后 — PMinervini · 2026-07-28
- Rednet 可复用 Bittensor 大半机制，但去掉全局共识 — sull · 2026-07-28