新论文挑战 grokking 主流解释:权重压缩并非泛化突现的原因
paraschopra · x · 2026-11-05
LossFunc 团队与 paraschopra 发布关于 grokking 现象的新论文。网络在 grokking 过程中先记忆训练数据、长期无法泛化,随后突然学会泛化,此间权重会压缩进低维子空间——过去这被视为 grokking 的成因。论文通过分析否定了这一因果解释:压缩是伴随现象而非泛化出现的原因。
「研究」频道最新
- 呼吸让肿瘤位移 11.3mm，他用开源模型单卡追踪测出 9.9mm — MaziyarPanahi · 2026-11-05
- Bregman VP 树:用 Bregman 球分割空间的快速最近邻查询结构 — FrnkNlsn · 2026-11-05
- 新论文:用 LLM 迭代式创建、评分与修订数据科学项目 — cjmaddison · 2026-11-05
- LSA 稀疏注意力跑通 Apple Silicon：128k 上下文 TTFT 降 31%、内存省 29% — GabGarrett · 2026-11-05
- Cursor 与 UC Berkeley 提出定向引导，让 RL 教会模型从 0 到 1 的新行为 — burny_tech · 2026-11-05
- 关系型基础模型登场：Kumo Relational 直接吃多表数据 — pandeyparul · 2026-11-05