线性回归也会 grokking

RichmanRonald · x · 2026-07-14

这篇被提到的论文/长线程讨论一个有趣结论：grokking 不是深度网络独有现象。

作者指出，即便是在简单的、线性且过参数化的 ridge regression 里，也能观察到经典 grokking：

• 训练集上很早就达到完美拟合
• 但泛化能力会在很久之后才突然大幅提升

这意味着 grokking 可能反映的是更一般的优化与泛化动力学，而不只是某类神经网络的特例。

原文链接 →

「研究」频道最新

• VidMap 用 RoMa 粗匹配全帧、精细匹配仅限关键帧 — ducha_aiki · 2026-09-11
• Bug Hunt Bench 作者补充:榜单噪声幅度约 2-3 分 — PawelHuryn · 2026-09-11
• 台球计算模型登 PNAS:二维系统已存在不可判定性,可跑通用计算机 — eigensteve · 2026-09-11
• 新研究:从仿射变换与重力线索求解绝对位姿 — ducha_aiki · 2026-09-11
• LoMa 论文发布 REALLY HardPairs 数据集,入选 ECCV 2026 — ducha_aiki · 2026-09-11
• JHU 开设全栈机器人学习课:组装机械臂、采数训练部署一条龙 — _krishna_murthy · 2026-09-11

更多「研究」频道 AI 资讯 →