Goodfire 用梯度归因自动发现并消融神经元社区验证因果
burny_tech · x · 2026-11-18
可解释性公司 Goodfire 介绍其发现模型内部行为相关神经元社区的方法,转推者称赞其完整流程:基于梯度的归因、发现稀疏神经元组、并对这些组做消融验证。
方法流程:
- 无需预先指定目标行为,在数百万条 prompt 上运行
- 通过基于梯度的归因识别有影响力的神经元
- 将经常被共同归因的神经元连成图,做社区检测(community detection)
- 对每个社区做必要性与充分性测试,并检验其支持的具体行为
这意味着可以在不预设假设的情况下,大规模自动挖掘模型内部的功能单元并验证其因果作用。
「研究」频道最新
- TCS 学界发布声明:招聘重质量轻数量,抵制 AI 论文军备竞赛 — fortnow · 2026-11-18
- 论文提出语言创造性的社会文化视角:从社区实践看创意生成 — abenitezburraco · 2026-11-18
- 无需训练或梯度:27B 模型可自行改写权重提升 unseen 任务 — udmrzn · 2026-11-18
- 开源 EDA 工具十年逆袭:从「不可能」到设计出蓝牙信标芯片 — IgorCarron · 2026-11-18
- AURA 2.0 发布:流式视频模型学会主动开口说话并调用工具 — Shuhan Li · 2026-11-18
- Orabona 撰文驳 AdaGrad 预条件化解释:全矩阵界限常不如标量学习率 — bremen79 · 2026-11-18