「学习的两种速度」：编码器慢学、读出层快校准，统一解释 grokking
s_y_chung · x · 2026-11-11
哥伦比亚大学 Chi-Ning Chou 等人的 NeurIPS 2026 Spotlight 论文《Two Speeds of Learning》提出：整个训练过程并行发生两种学习——编码器中缓慢的表征学习，和最后读出层快速的校准。团队用 critical dimension、GLUE 几何、linear probes 和末层 NTK-label alignment 追踪这两个过程。
- 对 grokking 的新解释：在 onset 之前读出层偏向训练集，而表征在持续稳步改善——这修正了 lazy-to-rich 理论：表征学习并非「沉默」，只是比读出层慢
- 用同一框架可解释 epoch-wise double descent 等测试性能与训练损失脱节的现象
- 跨 MLP 与 Transformer、ModAdd/PermComp/SparseParity 等任务验证 critical dimension 下降与训练阶段的关系
所属事件:「双速学习」论文统一解释 grokking 与双下降(5 条相关)→
「研究」频道最新
- Fable 5.2 登顶 GDPx 芯片设计榜，出题方自曝其任务零提升 — ycombinator · 2026-11-11
- 理论计算机科学家问 Claude：新证明中关键变量的复杂度是 Promise-BQP 完全 — fortnow · 2026-11-11
- 改写不到 10 个休眠神经元即可给 LLM Agent 植入后门 — DimitrisPapail · 2026-11-11
- 杜克普林斯顿论文:100 个 agent 拆成 10 支小队并行,胜过单队和单 agent — rohanpaul_ai · 2026-11-11
- Deletion Tuning:只清零 0.05% 权重即可媲美全量微调 — Thrumpwart · 2026-11-11
- JHU/MIT 开源 OpenTac:柔性 PCB 触觉皮肤可自动覆盖任意机器人表面 — _krishna_murthy · 2026-11-11