一张图讲清梯度、雅可比与 Hessian 在机器学习中的角色
burny_tech · x · 2026-11-14
Matharium 发布的科普长图系统对比三个多元微积分核心工具及其在机器学习中的用途：
- 梯度 ∇f：一阶偏导向量，指向函数上升最快方向，用于梯度下降优化
- 雅可比矩阵 JF：向量值函数的一阶偏导矩阵，给出小变化量的最佳线性近似；反向传播靠它逐层传播导数
- Hessian 矩阵：二阶偏导对称矩阵，特征值描述局部曲率，用于牛顿法等二阶优化与临界点分类（det H>0 且 fxx>0 为极小值，<0 为鞍点）
- 附 Wronskian 判别函数线性无关：sin x 与 cos x 的 Wronskian 为 −1，故是 y″+y=0 的独立解
「研究」频道最新
- 18岁无机构研究者证明自修复训练可收敛，383次实验验证 — Cohere · 2026-11-14
- AWS 上架 OpenFold3：SageMaker 一键部署全原子分子结构预测 — AWS ML Blog · 2026-11-14
- 物理学家更正：OpenAI Lean 代码确实证明了 Yang–Mills 非自由理论 — danintheory · 2026-11-14
- Inkling 2 Small 用 NVFP4 混合精度训练，速度精度兼得 — HanGuo97 · 2026-11-14
- 新预印本用 NMR 化学位移 probing,揭示蛋白基础模型不懂局部化学 — anshulkundaje · 2026-11-14
- Google 多智能体系统连破数学化学开放难题，成果登上官方博客 — pycui64 · 2026-11-14