JHU 分析 1100+ 模型:所有深度网络都收敛到同一个 16 维子空间

evolvingstuff · x · 2026-09-16

一条被广泛转发的推文称,Johns Hopkins 研究者分析了 1100 多个跨主要架构的训练模型,提出「通用权重子空间假设」:无论初始条件、训练数据或任务(写诗、驾驶、写代码)如何,深度神经网络都会收敛到同一个低维几何足迹——模型绝大部分「智能」集中在一个微小的共享谱子空间中,少数主方向控制一切。注意这是推文式的科普转述,具体论文细节与严谨性有待查证原文。