LLM 被发现用傅里叶特征做加法，28 个神经元即可实现

据 @dronh 引用的论文，语言模型利用傅里叶特征计算加法：LLaMA 中一组 28 个 MLP 神经元实现了这一通用加法机制，不同神经元子集对应不同周期的傅里叶特征。该发现也与可解释性争论相关——@banburismus 指出，若归因图是「回路随规模变难」的主要证据，这类新工作表明这可能只是 SAE 方法系统性偏向碎片化回路的产物。

2026-10-18 ~ 2026-10-18 · 2 条相关