Goodfire 发布 VPD 方法：把语言模型参数分解成可解释子组件

CatAstro_Piyush · x · 2026-10-27

Goodfire 发布《Interpreting Language Model Parameters》研究，提出对抗性参数分解方法（adVersarial Parameter Decomposition, VPD），补上机械可解释性在「参数层」的空白：- 现有工作多聚焦网络中间表征的结构，很少理解参数和非线性如何在表征上执行计算；- VPD 将模型参数分解为多个子组件，每个只实现模型学到的算法的一小部分，且只需少量子组件即可解释任意输入下的行为；- 分解通过优化获得：要求在大量消融（包括对抗性选择的破坏性消融）下仍保持输入输出行为，从而得到简短且机制忠实的描述。