一张图讲清梯度下降与反向传播：让误差信号流回每个参数
alfcnz · x · 2026-09-24
AI 教育者 alfcnz 继续发布其机器学习基础讲解系列，用极简图示拆解两个核心概念：
- 梯度下降：只有一个旋钮（参数）时，损失面像一个山谷，梯度就是指向下坡的方向，附三步迭代损失下降的示例表。
- 反向传播：误差信号 ỹ − y 从输出端「流回」隐藏层的各个旋钮，一张图即可讲清，不需要算术推导。
- 学习信号部分：损失 L(w, x, y) = C(y, ỹ) 用一个数衡量网络错得多离谱，课上用平方误差；无论输出接何种损失，对 s 的梯度都是 ỹ − y。隐藏层用 σ(s)，输出层用 softargmax(s)。
「研究」频道最新
- Anthropic:Claude 在噬菌体 DNA 中发现未知酶系统 — KevinKaichuang · 2026-09-24
- 新基准 TRACES 不看答案对错,专评 AI 解决未知问题的过程能力 — dr_cintas · 2026-09-24
- ECCV MMBU 基准揭示:视觉语言模型答对题却认不出图像模态 — davidjhwu · 2026-09-24
- 研究发现:作者其实能较准预测自己哪篇论文高被引 — RexDouglass · 2026-09-24
- Applied Compute 用 Jev 自动聚类 RL 训练中的失败模式 — rhythmrg · 2026-09-24
- 递归自我改进的经济学:AI 加速自身的成本收益账 — CFGeek · 2026-09-24