手算反向传播完整推导
ProfTomYeh · x · 2026-07-20
手算反向传播完整推导
这条长帖用一个 3 层感知机 的例子，把反向传播从头到尾手算了一遍，强调它本质上就是 矩阵乘法 + 激活函数门控。
主要步骤
- 先给定输入 X、预测 Ypred = [0.5, 0.5, 0]，以及真实标签 Ytarget = [0, 1, 0]
- 输出层直接得到梯度：dL/dz3 = Ypred - Ytarget = [0.5, -0.5, 0]
- 通过矩阵乘法依次求出每一层的 权重和偏置梯度
- 在 ReLU 层用“门”把负值位置的梯度清零
- 梯度一层层往回传，直到网络里每个参数都有梯度
- 最后再做参数更新；实际训练里通常还会乘学习率
核心结论
作者想说明，backprop 并不神秘，整个过程可以看成一串连续的矩阵运算。也正因为如此，GPU 在深度学习里才变得极其关键：它们把这些运算加速到了可训练的规模。
「研究」频道最新
- 斯坦福团队推出全球最快分词器 Gigatoken — StanfordAILab · 2026-07-22
- Tabul AI 推出 Metal TreeSHAP，加速 Apple silicon 上的 Shapley 计算 — Scobleizer · 2026-07-22
- Reddit 转发 OpenAI 的 ChatGPT 广告页面 — EcstaticAsparagus509 · 2026-07-22
- 开源 runtime 让每个仓库自定义 AI 代码审查器 — ibabufrik · 2026-07-22
- DeepSWE：专攻真实 GitHub 场景的 AI 编码智能体评测基准 — pmz · 2026-07-22
- Claude 辅助写成的 Rust 太空经济模拟器，能跑数百艘自治船只 — kalcode · 2026-07-22