可解释性研究者争论：高模数运算的特征分辨率超出神经元数量预期

thebasepoint · x · 2026-10-19

可解释性研究者 thebasepoint 在与 Neel Nanda 等人的讨论中表示，连续现象往往是理解模型内部更好的视角；但针对 @dronh 的例子，他怀疑高模数（如 mod 2、mod 5 之外的更高模数）运算中的特征分辨率超出了所分配神经元的数量所能承载的范围，尽管这些神经元已捕获了大量模式。

对比之下，在低模数（mod 2 和 mod 5）上，神经元已清晰捕获全部模式，模型没有动机把剩余信息分散到别处。这暗示模型在高维情形下采用了叠加（superposition）编码。