Neel Nanda 经典论文：机制可解释性拆解 grokking 三阶段

burny_tech · x · 2026-11-10

在 Neel Nanda 生日之际，有人重新分享了他与 Lawrence Chan、Jacob Steinhardt 等人 2023 年的经典论文《Progress measures for grokking via mechanistic interpretability》。该论文完整逆向了小 Transformer 在模加法任务上学到的算法：网络用离散傅里叶变换和三角恒等式把加法转化为圆上的旋转，并通过傅里叶空间的激活/权重分析与消融加以验证。基于此，作者定义了进度度量，把训练拆为记忆化、电路形成、清理三个连续阶段，证明 grokking 并非突变，而是结构化机制逐渐放大、记忆成分随后被移除的结果。楼主称这篇论文是纯粹的「nerd snipe」级黄金作品，自己也因此开始玩神经几何流形。