新论文称无需任何数据即可从权重矩阵直接探测过拟合
burny_tech · x · 2026-09-20
- CalcCon 团队(与 hari kishan prakash 合作)发表论文《Late-Stage Generalization Collapse in Grokking: Detecting Anti-Grokking with WeightWatcher》,指出可以直接从层权重矩阵中检测过拟合的特征,而不需要访问任何训练或测试数据。
- 在两个经典 grokking 实验中显式展示了这一现象,并观察到一种与以往不同的过拟合形态。
- 团队用「Grokking → Stability → Anti-Grokking」曲线追踪训练后期泛化的崩溃过程,论文已投 ICLR。
「研究」频道最新
- 9.9K 星开源仓库:纯 PyTorch 手写全流程,13M 参数从预训练练到 GRPO — techNmak · 2026-09-20
- Judea Pearl：下一代应先学因果推理再学统计 — yudapearl · 2026-09-20
- 论文工厂研究被引 480 项专利,学术署名溯源危机加剧 — nicklaslundblad · 2026-09-20
- Three.js 实时海岸模拟：浅水求解器+碎浪+湿沙交互，代码开源 — techartist_ · 2026-09-20
- 热力学势阱内完成计算,DNA 分子计算机登上 Nature — chaitjo · 2026-09-20
- SPOC 方法为 ESMFold2 PPI 筛查去伪:速度对标 AlphaFold2 快 2.7 倍 — proteinrosh · 2026-09-20