新研究解析 grokking 机制:平台期长短与初始化失衡有关
CatAstro_Piyush · x · 2026-10-21
研究者 dohmatobelvis 与其博士生 gningbayemalick 发布新工作,深入分析仍缺乏完整理解的 grokking 现象。
研究回答了几个核心问题:
- 什么因素控制平台期(plateau)的长短
- weight decay 是否为 grokking 的必要条件
- 初始化的影响
配图展示快/慢动力学分解:学习分三个阶段——快速弛豫到不变流形、以 1/ε 时间尺度(SNR 决定)学习核心特征权重对应长平台期、最后在初始化不平衡时出现以 1/λ 时间尺度弛豫的"调和对偶"变量阶段。
「研究」频道最新
- Claude 从 31.8 万设计中筛出蝎子神经毒素蛋白结合剂 — The Decoder · 2026-10-21
- NVIDIA 团队发布 JCA:为任意骨骼协同生成 3D 动作与视频 — nvidia · 2026-10-21
- 清华发布 Event-STVG 基准:4016 个事件考验长视频推理 — Yizhe Zhang · 2026-10-21
- SpecKCast:频域 Kalman 滤波加速 Diffusion Transformer 推理 — SamsungResearch · 2026-10-21
- 55.8 万次评测揭示:视觉语言模型在特定子任务上越放大越差 — UniversityOfEdinburgh · 2026-10-21
- LFD 方法:用自然语言目标蒸馏控制科学生成模型,无需手工奖励函数 — hbouammar · 2026-10-21