GPT-4 给 GPT-2 神经元写的解释被系统性检验:高错误率、几乎无因果效力

burny_tech · x · 2026-10-25

论文《Rigorously Assessing Natural Language Explanations of Neurons》(Huang、Geiger、Wu、Potts 等,arXiv:2309.10312)提出两种检验神经元自然语言解释的模式:观察模式检验「神经元 a 是否且仅在指称解释 E 所指概念的输入上激活」;干预模式把 E 视为「a 是该概念的因果中介」的因果主张,用交换干预准确率(IIA)度量。应用于 Bills et al. (2023) 用 GPT-4 生成的 GPT-2 XL 神经元解释后,发现即使最自信的解释也有高错误率,且几乎无因果效力。论文最后质疑:自然语言是否是好的解释媒介、神经元是否是正确的分析层级。