新论文称无需任何数据即可从权重矩阵直接探测过拟合
burny_tech · x · 2026-09-20
- CalcCon 团队(与 hari kishan prakash 合作)发表论文《Late-Stage Generalization Collapse in Grokking: Detecting Anti-Grokking with WeightWatcher》,指出可以直接从层权重矩阵中检测过拟合的特征,而不需要访问任何训练或测试数据。
- 在两个经典 grokking 实验中显式展示了这一现象,并观察到一种与以往不同的过拟合形态。
- 团队用「Grokking → Stability → Anti-Grokking」曲线追踪训练后期泛化的崩溃过程,论文已投 ICLR。
所属事件:新论文发现 grokking 第三阶段：训练后期泛化崩溃(2 条相关)→
「研究」频道最新
- 哈佛教授承认：AI 生成的文章评审已全面优于人类最佳水平 — iamfakhrealam · 2026-11-04
- Cohere等论文:合成预训练收益竟源于嵌入初始化偏差 — LauraRuis · 2026-11-04
- kalomaze 展示 DeepSeek V3.1 底座更大骨干实验，eval loss 降至约 0.82 — kalomaze · 2026-11-04
- Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」 — Altruistic_Heat_9531 · 2026-11-04
- SpecPilot 智能体自动优化投机解码：速度从 4.46× 提升至 10.87× — pmttyji · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04