「反 grokking」现象：训练过久反而令泛化能力崩塌
CatAstro_Piyush · x · 2026-09-26
研究者发现并命名了 "anti-grokking" 现象：模型在经历 grokking（训练精度饱和后测试精度突然跃升、实现泛化）之后，如果继续训练，测试精度可能突然崩塌回随机水平，而训练精度仍保持完美。
要点：
- 常规 grokking 进度指标（L2 权重范数、激活稀疏度、权重熵）能追踪初始 grokking 阶段，但在 anti-grokking 阶段完全持平，无法预警崩塌。
- 作者使用 WeightWatcher 诊断工具分析层权重矩阵的经验谱密度（empirical spectral density）来检测该现象。
- 机制上，anti-grokking 由 "Correlation Traps" 驱动：训练后期出现的异常大特征值，严重阻碍泛化。
这一发现对理解泛化动态与训练停止时机有实际意义。
「研究」频道最新
- AI 智能体日夜运转一个月,复现法国气象局 AROME 天气模型 — IgorCarron · 2026-11-11
- NYU 新方法:看人做 5 分钟家务,机器人就能学会擦桌子 — CyberRobooo · 2026-11-11
- 新预印本：以空间单细胞分辨率绘制早期器官发生的人类胚胎图式 — anshulkundaje · 2026-11-11
- OpticalRAG：文档渲染成图压缩至 16 个 token，三项基准压缩感知精度最佳 — kalyan_kpl · 2026-11-11
- 百度发布 ERNIE Evolve 自动研究系统,NanoGPT Speedrun 超公开最好成绩 — xiaohu · 2026-11-11
- Diffusion Week 2026 十讲全部公开:覆盖视频生成与世界模型 — LucaAmb · 2026-11-11