Neel Nanda 团队逆向工程 grokking:训练分三阶段渐进涌现
burny_tech · x · 2026-11-10
转发 Neel Nanda、Lawrence Chan 等人的论文《Progress measures for grokking via mechanistic interpretability》(arXiv:2301.05217)。
- 研究对象:小 Transformer 在模加法任务上表现出的 grokking 现象——看似突然涌现的能力。
- 核心方法:用机制可解释性完整逆向工程网络学到的算法,发现其利用离散傅里叶变换和三角恒等式把加法转化为圆周旋转,并通过激活与权重分析、傅里叶空间的消融实验验证。
- 关键结论:基于这一理解定义了连续的进度度量,把训练划分为记忆(memorization)、电路形成(circuit formation)、清理(cleanup)三个阶段;grokking 并非突变,而是权重中有结构的机制被逐步放大、随后记忆组件被移除的渐进结果。
- 意义:为理解神经网络的涌现行为提供了「找到连续进度度量」的路径。
所属事件:Neel Nanda 经典论文用机制可解释性拆解 grokking(2 条相关)→
「研究」频道最新
- 亚马逊FAR发布Pick Anything：单一策略类人抓取66种物体 — notmahi · 2026-11-10
- 双高斯过程模型选中电解液添加剂,5 万次循环容量保持 90.3% — bravo_abad · 2026-11-10
- LeCun 亲自澄清 JEPA:关键不在预测器,而在联合嵌入 vs 生成式 — jbhuang0604 · 2026-11-10
- 斯坦福 AI100 2026 报告发布，「递归自我改进」首次单列成章 — conitzer · 2026-11-10
- EPFL 数据科学课黑板照走红，教授考虑将全课程搬上 YouTube — burny_tech · 2026-11-10
- Manav Robotics 在 CoRL 2026 发布 IMBench：35 任务测 AI 物理常识 — k7agar · 2026-11-10