表示读出分解统一解释 grokking 与双下降现象
s_y_chung · x · 2026-11-11
作者 sychung 发布其可解释性研究工作的收尾总结：提出 representation-readout decomposition（表示-读出分解），作为电路级可解释性的自顶向下补充。该「双速率」（two-speed）框架为 grokking（突现泛化）与逐 epoch 双下降提供了统一且任务无关的解释。
作者列出后续开放方向：将分解从最后一层扩展到中间层、为从业者提供轻量监控工具与超参选择指导。研究获得哈佛、Kempner Institute、Flatiron Institute 与 Simons 基金会支持。
所属事件:「双速学习」论文统一解释 grokking 与双下降(5 条相关)→
「研究」频道最新
- Geodesic 发布 NovaAtom-Lite,抗体-抗原结构预测超 AlphaFold 3 达 31 个百分点 — QuanquanGu · 2026-11-11
- 研究者:让大佬 RLHF 自己的研究品味进模型,无法外推到全自动 AI 研究员 — herbiebradley · 2026-11-11
- FlashAttention 共同作者 Dan Fu 播客:从 CUDA 内核到开源模型经济学 — realDanFu · 2026-11-11
- OpenTac 亮相 CoRL：触觉被称为机器人数据缺失的另一半 — anand_bhattad · 2026-11-11
- Geodesiclab 攻克抗体结构预测难题,取得显著改进 — QuanquanGu · 2026-11-11
- AI 制药迎来「HBM 时刻」：瓶颈从设计转向湿实验室 — QuanquanGu · 2026-11-11