EkdeepL 澄清:可解释性说的「神经元」是 MLP 隐单元,与神经科学神经元不是一回事

EkdeepL · x · 2026-10-17

在关于 @nickcammarata 可解释性结果的讨论中,研究者 EkdeepL 强调一个关键细微差别:这项工作里的「神经元」指 MLP 隐藏单元,其输出进入残差流。

他认为真正更接近神经科学意义上「神经元」的,是残差流那一侧的隐单元,而文献中并未(包括本项目)在这些单元上发现单一语义的结果。该帖上下文还提到 MLP 神经元的单一语义已有不少既有结果,Nick 和 Curt 的工作在追加证据。