「双速学习」论文统一解释 grokking 与双下降

哥伦比亚大学 Chi-Ning Chou 等人的论文《Two Speeds of Learning》获 NeurIPS 2026 Spotlight，由 Chi-Ning Chou 与 Oscar Uzdelewicz 领衔，合作者包括 Neng 等人。论文提出「双速学习」框架：训练全程并行发生两种学习——编码器中缓慢的表征学习，与最后读出层快速的校准。作者将其表述为 representation-readout decomposition（表示-读出分解），定位为电路级可解释性的自顶向下补充。

已确认

• 论文获 NeurIPS 2026 Spotlight，核心作者为 Chi-Ning Chou、Oscar Uzdelewicz，SueYeon Chung 参与团队并在社交媒体发布系列介绍
• 框架用两种时间尺度统一解释 grokking（延迟泛化）与逐轮（per-epoch）double descent 两种现象
• 同一测量手段还能识别虚假的泛化动力学：此前报道的 MNIST grokking 例子和 label-noise double descent 例子，实为非标准训练配方下的表征退化和读出层错位所致，在标准训练下这些效应不复存在

为什么重要

• grokking 与 double descent 长期被视为神秘或矛盾的训练现象，该工作给出统一的机制性解释，将其归因于表征学习与读出校准的速度差异
• 表示-读出分解为可解释性研究提供了介于宏观行为与微观电路之间的分析工具，且可区分真实泛化与训练配方伪影，对理解泛化本身有方法论意义

2026-11-11 ~ 2026-11-11 · 5 条相关

• 【源头】NeurIPS 2026 Spotlight:双速学习拆解 Grokking 与双重下降 — s_y_chung · 2026-11-11
• 「学习的两种速度」：编码器慢学、读出层快校准，统一解释 grokking — s_y_chung · 2026-11-11
• 表示-读出分解统一解释 grokking 与双下降，并可标记伪泛化 — s_y_chung · 2026-11-11
• 【源头】NeurIPS Spotlight：双速度学习重新解释 grokking 与 double descent — s_y_chung · 2026-11-11
• 【源头】表示读出分解统一解释 grokking 与双下降现象 — s_y_chung · 2026-11-11