Neel Nanda 论文:机制可解释性揭示 grokking 的连续三阶段

burny_tech · x · 2026-11-01

Neel Nanda 等人的论文《Progress measures for grokking via mechanistic interpretability》通过机制可解释性方法研究 grokking 现象。作者完整逆向了在模加法任务上训练的小型 Transformer 学到的算法:网络利用离散傅里叶变换和三角恒等式,把加法转化为圆周上的旋转,并通过激活与权重分析、傅里叶空间消融实验验证了该算法。基于这一理解,论文定义了连续的进度度量,把训练拆成三个阶段:记忆、回路形成、清理,证明 grokking 并非突变,而是权重中结构化机制被逐步放大、记忆组件随后被移除的渐进过程。