Neel Nanda 等经典论文：用机制可解释性拆解 grokking 三阶段
burny_tech · x · 2026-10-27
这是 Neel Nanda、Lawrence Chan、Tom Lieberum、Jess Smith 与 Jacob Steinhardt 合著的经典可解释性论文（arXiv:2301.05217），研究神经网络中的 grokking 现象（训练损失早已收敛、泛化能力却在很久之后突然出现）。
核心内容：
- 以小 Transformer 学习模加法为案例，完整逆向工程出网络学到的算法：利用离散傅里叶变换与三角恒等式把加法转化为圆周上的旋转。
- 通过激活与权重分析、在傅里叶空间做消融验证了该算法。
- 基于此定义了若干进度度量（progress measures），把看似突变的涌现拆成三个连续阶段：记忆化 → 回路形成 → 清理。
- 结论：grokking 并非突然切换，而是权重中结构化机制被逐渐放大、随后记忆成分被移除的结果。
「研究」频道最新
- NUS 提出多智能体编排框架 DynaFlow：精度超 AFflow 等基线 — NationalUniversityofSingapore · 2026-10-27
- 人大团队发布递归自我改进综述：定义、风险与可信评估框架 — Jiayue Pu · 2026-10-27
- Δτ-Bench：工具生态持续演化下，最强模型任务成功率仅42.3% — UniversityCollegeLondon · 2026-10-27
- 浙大联合华为提出 ProAS：修复无 critic 强化学习的信用分配缺陷 — LINs-lab · 2026-10-27
- PatEx-Gym：首个专利审查 agent 基准，含百万级检索语料 — IPIntelligence · 2026-10-27
- CMU 发布 AgentProofBench：首个可复用 Web Agent 验证器基准 — CarnegieMellonU · 2026-10-27