新论文发现 grokking 第三阶段：训练后期泛化崩溃

Prakash、Charles Martin 及 CalcCon 团队发布 arXiv 论文《Late-Stage Generalization Collapse in Grokking》，在两个经典 grokking 实验（MNIST 子集上的 3 层 MLP 与模加法 transformer）中发现 grokking 存在第三阶段：训练后期的泛化能力会崩溃回随机水平。论文还提出无需任何数据、直接从权重矩阵探测过拟合的新方法，为理解模型泛化行为提供了新视角。

2026-09-20 ~ 2026-09-20 · 2 条相关

• 新论文称无需任何数据即可从权重矩阵直接探测过拟合 — burny_tech · 2026-09-20
• 新论文发现 grokking 第三阶段:训练后期泛化会崩溃回随机水平 — sytelus · 2026-09-20