分解卷积神经元的可解释性方法
narang_27 · reddit · 2026-07-15
作者分享自己独立做的 mechanistic interpretability 初步论文，研究对象是 Inceptionv1 里的一个 **1x1 convolution neuron**，并尝试把方法推广到同层其他神经元。 ### 核心思路 他提出：神经元的 receptive field 与权重做 **Hadamard product** 后，得到的内容更接近这个神经元“在看什么”或“在检测什么”。随后对这个结果做聚类，能把神经元检测到的模式拆出来。 ### 观察到的结果 - 得到了比较干净的 monosemantic clusters，如 cars、cats、dogs - 还出现了更多低值激活簇，比如 letters、human faces 等 - 这些低值簇中，依赖神经元也会围绕同一概念一起激活 - 正负权重在这些簇里分布均匀，抵消后把总和压低 - 作者把这解读为：gradient descent 可能会把一些模式/概念放进“噪声范围”里 ### 作者希望得到的反馈 - 这套分析方法是否真的有用 - 是否应该继续从卷积转向语言模型方向