新论文用奇异学习理论解释 Grokking：泛化是冗余流形的物理坍缩
burny_tech · x · 2026-11-11
burnytech 分享 arXiv 论文《Grokking From Abstraction to Intelligence》（2603.29262，22 页，正在投 ICML 2026），作者 Junjie Zhang 等。
核心观点
- 模算术中的 grokking 已成为研究模型泛化 mechanistic 起源的经典「果蝇实验」，但现有研究多聚焦局部电路或优化调参，忽视驱动这一现象的全局结构演化。
- 论文提出：grokking 源于模型内部结构的自发简化，受「简约性原则」（principle of parsimony）支配。
方法与结论
- 整合因果、谱与算法复杂度度量，并结合奇异学习理论（Singular Learning Theory, SLT）。
- 发现从记忆到泛化的转变对应冗余流形的物理坍缩与深层信息压缩，为理解过拟合与泛化机制提供新视角。
所属事件:新研究解释 Grokking：泛化源于模型内部结构自发简化(2 条相关)→
「研究」频道最新
- 斯坦福团队提出 BVSR:少给上下文反而让 AI 科学家更有创造力 — james_y_zou · 2026-11-11
- 认知科学实验:AI 出点子更快,人类团队的创意仍更胜一筹 — CurieuxExplorer · 2026-11-11
- 上海交大 AutoDNA 无人实验室:AI 智能体自动跑通 DNA 读写全流程 — CurieuxExplorer · 2026-11-11
- PufferLib 单 GPU 每秒训练 6000 万样本，RL 库全开源 — jsuarez · 2026-11-11
- Artificial Analysis 智能指数权重频繁变动,单一基准权重波动达数倍 — HamelHusain · 2026-11-11
- Benchling 发布 BenchBench-Refusals:GPT-6.1 Sol 88.4% 居首,Opus 5.5 无认证仅 40.4% — nlarusstone · 2026-11-11