Grokking 新研究：泛化涌现源于内部结构的自发简化与坍缩

burny_tech · x · 2026-11-11

一项关于 grokking 现象的新研究提出：模运算任务中的「从记忆到泛化」转变，源于模型内部结构受「简约原则」支配的自发简化。研究整合因果分析、谱分析与算法复杂度（BDM）测量以及奇异学习理论（SLT），发现：- 泛化涌现时，表征空间从高熵无序态坍缩为与 Z97 同构的低维一维环流形；- Gini 系数与逆参与率（IPR）急剧上升，表明嵌入能量集中到稀疏傅里叶模；- 权重的算法复杂度在涌现阶段骤降，参数结构明显块状化，冗余流形发生物理性坍缩与深度信息压缩。作者称这是理解模型过拟合与泛化机制的新视角。