梯度 Jacobian Hessian 一次讲清
techNmak · x · 2026-07-16
这条长帖用统一框架解释了训练 AI 模型时最常见的三个微分对象： - **Gradient（梯度）**：标量函数的一阶导数，回答“往哪个方向变化最快”。优化里梯度下降就是沿着梯度的反方向走。 - **Jacobian（雅可比）**：向量值函数的一阶导数矩阵，描述输入变化如何影响多个输出；在自动微分里对应前向模式的 Jacobian-vector product，以及反向模式的 vector-Jacobian product。 - **Hessian（海森矩阵）**：标量函数的二阶导数矩阵，描述曲率；在临界点上可用来判断极小值、极大值或鞍点。 作者最后给出一个直观总结：梯度看方向，Jacobian 看敏感度，Hessian 看曲率；Hessian 本质上就是梯度的 Jacobian。