别把 Hessian 当二阶导矩阵：特征值是损失面的局部曲率
techNmak · x · 2026-10-05
作者分享了一个理解 Hessian 的几何视角：与其把它看作二阶导数矩阵，不如关注损失面在参数空间某点的局部二阶几何。
- 沿任意单位方向 u 移动，损失的二阶方向导数为 u^T H u
- H 的特征向量 vᵢ 满足 vᵢ^T H vᵢ = λᵢ，即对应特征值给出该方向的局部曲率
- 接近零的正特征值意味着方向较平坦，大的正特征值意味着曲面在该方向急剧弯曲
- 这解释了优化难点：曲率在各方向差异大时，对平坦方向合适的学习率在陡峭方向可能过于激进
结论：Hessian 描述的是损失面的局部二阶几何，而非一张二阶导数表格。
「研究」频道最新
- 上海 AI Lab 提出 SCALE:用熵引导门控实现对 SFT 特征的抑制与反转 — Shanghai-AI-Laboratory · 2026-10-05
- UCVG.cpp:一对对比 prompt 即可为任意 LLM 生成控制向量的 C++ 工具 — Egor4more · 2026-10-05
- GPU 集群上能存在多少个数字心智?Synthese 论文提出新难题 — burny_tech · 2026-10-05
- 新论文提出「自适应重构」：智能的关键是重新定义问题本身 — ValerioCapraro · 2026-10-05
- 2D 嵌入图不是定量证据:t-SNE/UMMAP 只能提假设 — bravo_abad · 2026-10-05
- ML 会议 Area Chair 有权直接拒稿 AI 生成论文 — tyrell_turing · 2026-10-05