线性回归也会 grokking
RichmanRonald · x · 2026-07-14
这篇被提到的论文/长线程讨论一个有趣结论：**grokking 不是深度网络独有现象**。 作者指出，即便是在简单的、线性且过参数化的 ridge regression 里，也能观察到经典 grokking： - 训练集上很早就达到完美拟合 - 但泛化能力会在很久之后才突然大幅提升 这意味着 grokking 可能反映的是更一般的优化与泛化动力学，而不只是某类神经网络的特例。
RichmanRonald · x · 2026-07-14
这篇被提到的论文/长线程讨论一个有趣结论：**grokking 不是深度网络独有现象**。 作者指出，即便是在简单的、线性且过参数化的 ridge regression 里，也能观察到经典 grokking： - 训练集上很早就达到完美拟合 - 但泛化能力会在很久之后才突然大幅提升 这意味着 grokking 可能反映的是更一般的优化与泛化动力学，而不只是某类神经网络的特例。