新研究解释 Grokking：泛化源于模型内部结构自发简化

两项关于 grokking 现象的新研究引发关注。一项研究以模运算任务为对象，提出模型「从记忆到泛化」的转变源于内部结构受简约原则支配的自发简化，并整合因果分析、谱分析与算法复杂度（BDM）测量加以验证。另一篇 arXiv 论文《Grokking From Abstraction to Intelligence》则用奇异学习理论解释该现象，认为泛化是冗余流形的物理坍缩，目前正在投 ICML。

2026-11-11 ~ 2026-11-11 · 2 条相关