可解释性研究者争论高模数算术特征为何超出神经元预期

一场围绕算术任务机制可解释性的技术讨论展开。研究者 thebasepoint 在与 Neel Nanda 等人的交流中指出，在模运算神经元研究中，低模数(如 mod 2、mod 5)的神经元已清晰捕获所有模式，因此模型没有动力为更高模数分配专门神经元；但他怀疑高模数运算的特征分辨率超出了基于神经元数量的预期。他还认为，连续现象往往是理解模型内部机制的更好视角。

2026-10-19 ~ 2026-10-19 · 2 条相关