NeurIPS 2026 Spotlight:双速学习拆解 Grokking 与双重下降
s_y_chung · x · 2026-11-11
SueYeon Chung 团队的 NeurIPS 2026 Spotlight 论文《Two Speeds of Learning》，由 Chi-Ning Chou 与 Oscar Uzdelewicz 领衔，合作者包括 Neng-Chun Chiu、Yao-Yuan Yang，横跨 Flatiron、哈佛、NYU 等机构。
- 研究问题：为什么测试性能有时远滞后于训练损失(grokking)，或在训练损失持续下降时先升后降(epoch-wise double descent)？
- 方法：把网络拆成 encoder(表征学习)与 readout(读出校准) 两个组件分别追踪
- 结论：这两个现象源于表征学习与读出校准的时间尺度错配；借助表征几何、神经正切核与线性探针工具，提出了跨真实数据集与架构的诊断分析框架
- 配图展示了该分解如何作为可解释性研究的自上而下框架，追踪隐藏进度并区分不同机制
所属事件:「双速学习」论文统一解释 grokking 与双下降(5 条相关)→
「研究」频道最新
- Fable 5.2 登顶 GDPx 芯片设计榜，出题方自曝其任务零提升 — ycombinator · 2026-11-11
- 重编程不到 10 个休眠神经元即可给 LLM Agent 装后门 — DimitrisPapail · 2026-11-11
- 理论计算机科学家问 Claude：新证明中关键变量的复杂度是 Promise-BQP 完全 — fortnow · 2026-11-11
- 杜克普林斯顿论文:100 个 agent 拆成 10 支小队并行,胜过单队和单 agent — rohanpaul_ai · 2026-11-11
- Deletion Tuning:只清零 0.05% 权重即可媲美全量微调 — Thrumpwart · 2026-11-11
- JHU/MIT 开源 OpenTac:柔性 PCB 触觉皮肤可自动覆盖任意机器人表面 — _krishna_murthy · 2026-11-11