Goodfire 提出参数分解法 VPD:把大模型参数拆成忠实子组件
Sauers_ · x · 2026-10-02
Goodfire 联合 MATS 等机构的研究者发布论文《Interpreting Language Model Parameters》,提出 adVersarial Parameter Decomposition(VPD) 方法,朝机制可解释性迈进一步。
- 动机:以往可解释性研究多聚焦网络的中间表征,对“参数与非线性如何在这些表征上执行计算”进展甚少。
- 方法:将语言模型参数分解为若干简单子组件,每个子组件只实现模型学到的算法的一小部分;通过在大量(包括对抗性选择的)子组件被消融的情况下仍保持输入输出行为来优化分解。
- 效果:由此得到对网络行为的简短且机制忠实的描述,并可聚合为对网络整体学到的算法的更全局描述。
作者包括 Lucius Bushnaq、Dan Braun、Lee Sharkey 等,论文于 2026 年 5 月 5 日发布,附 Goodfire 官方博客版本。
所属事件:Goodfire 发布参数分解方法 VPD,拆解语言模型为忠实子组件(6 条相关)→
「研究」频道最新
- LEV 循环决策模型:2.6B 模型四轮推理准确率 63.2%→76.2% — jiqizhixin · 2026-11-19
- 单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型 — Tall_Abrocoma_3533 · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19
- OpenVax 代码量 15 个月从 7.8 万行涨到 56.5 万行 — iskander · 2026-11-19