用费舍尔信息几何解释深度网络为何不违背奥卡姆剃刀
FrnkNlsn · x · 2026-11-01
作者 Frank Nielsen 推介其与 Ke Sun 合著的论文《A Geometric Modeling of Occam's Razor in Deep Learning》(arXiv:1905.11027,2019 年首发,2025 年 v9 修订并刊于 Information Geometry)。
论文要回答的问题是:深度神经网络参数空间维度极高,表面上与奥卡姆剃刀(简单模型泛化更好)矛盾,为何实践中仍表现优异。作者采用信息论+几何的视角:
- 以最小描述长度(MDL)理论为出发点,认为"简单性"关联更好的泛化;
- 通过 Fisher 信息矩阵的显著维度数,引入参数空间的"局部变化维度"概念;
- 用奇异半黎曼几何把参数空间建模为流形,基于奇异性分析推导出 DNN 的模型复杂度度量,从而给出更短的描述长度。
结论:Fisher 信息解释了 DNN 的实际"低复杂度"——大量参数近乎退化(null 曲线上的切向量对模型无影响),因此高维参数空间并不真正违背奥卡姆剃刀,这解释了 DNN 参数巨大却泛化良好的现象。
「研究」频道最新
- 「语义老虎机」实验:无关措辞即可左右 LLM 的探索-利用平衡 — burkov · 2026-11-01
- RoboColiseum 机器人实测：Claude Opus 5.5 得 76.28 险胜 GPT-6 Astra — jiqizhixin · 2026-11-01
- ETH Zurich 发布 EgoHTR 数据集：15 万帧第一视角 4D 人体地形运动数据 — Scobleizer · 2026-11-01
- DiffusionART-Flash 开源：仅训 1-2 个高噪声步，扩散模型 RL 提效 25 倍 — YangYou1991 · 2026-11-01
- NVIDIA「World from Motion」入选 NeurIPS，单目视频重建动态 3D 场景 — Scobleizer · 2026-11-01
- HuggingFace 开源 FineDNA 数据集,14B 模型 DNA 基准超 GPT-6.1 — loubnabnl · 2026-11-01