新论文发现 grokking 第三阶段:训练后期泛化会崩溃回随机水平
sytelus · x · 2026-09-20
Prakash 与 Charles Martin 的 arXiv 论文在两个经典 grokking 实验（MNIST 子集上的 3 层 MLP、模加法 transformer）中把训练时间大幅延长，发现一个此前未报告的第三阶段：anti-grokking——模型先完成记忆到泛化的跃迁，之后测试准确率崩回随机水平，而训练准确率仍保持完美。
- 诊断工具：开源 WeightWatcher（基于 HTSR/SETOL 理论），核心信号是打乱权重矩阵谱密度中出现超出 Marchenko–Pastur 主体的大特征值，即 Correlation Traps；辅助信号是 HTSR 层质量指标 α 偏离 2.0。
- 关键卖点：两种信号都不需要访问任何训练或测试数据，直接从权重矩阵即可检测过拟合/反泛化特征。
- 作者指出这种晚期过拟合与以往观察到的形态不同，对极长训练、蒸馏等场景有诊断价值。
所属事件:新论文发现 grokking 第三阶段：训练后期泛化崩溃(2 条相关)→
「研究」频道最新
- PixelBench：用逐像素生成取代 QA,重新测多模态模型 — bdsqlsz · 2026-11-04
- Chollet 提问:单细胞如何仅靠基因组信息把自己连成大脑 — CatAstro_Piyush · 2026-11-04
- OffsecCyber 数据集发布：整合 HackerOne 报告与 CVE 训练渗透测试 LLM — AccBalanced · 2026-11-04
- 研究：「单次事实」占比决定 LLM 科学发现能力 — CatAstro_Piyush · 2026-11-04
- 把 TPU 编译进 Qwen 权重：0.8B 模型跑出精确矩阵乘法 — CatAstro_Piyush · 2026-11-04
- Jev 模型提升 LLM 上下文学习示例检索，蒸馏 MLP 降开销 — kalyan_kpl · 2026-11-04