Goodfire 发布参数分解新方法,把语言模型拆成忠实子组件
Sauers_ · x · 2026-10-02
Goodfire 联合 MATS 等机构发表研究《Interpreting Language Model Parameters》,提出 adVersarial Parameter Decomposition(VPD)方法,试图回答机制可解释性中长期悬而未决的问题:神经网络的数百万到数万亿参数究竟学到了什么结构、如何实现智能计算。
- 核心思路:把语言模型的参数分解为多个子组件,每个子组件只实现模型学到的算法的一小部分,且只需一小部分子组件就能解释网络在任意输入上的行为。
- 对抗式消融:分解过程优化为在大量子组件被消融时仍保持输入输出行为,包括对抗性挑选的破坏性消融,从而逼迫学到的子组件成为对网络行为的简短且机制忠实的描述。
- 意义:此前可解释性研究主要聚焦中间表示,对参数与非线性如何在这些表示上进行计算进展甚微,该方法为此提供了新路径。
所属事件:Goodfire 发布参数分解方法 VPD,拆解语言模型为忠实子组件(6 条相关)→
「研究」频道最新
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19
- OpenVax 代码量 15 个月从 7.8 万行涨到 56.5 万行 — iskander · 2026-11-19
- François Fleuret:decoder Transformer 没有 trade-off 超参,足够优雅 — francoisfleuret · 2026-11-19
- 社会学者新文:传统社会科学能为 AI Agent 互动研究带来什么 — RobbWiller · 2026-11-19