Goodfire 发现 LLM 神经元社区:不足十个神经元即可支撑算术等行为
niloofar_mire · x · 2026-11-18
Goodfire 发布新研究「Neuron Communities」:一种无监督方法,用于发现 LLM 内部反复协作实现常见行为的神经元小组。
- 在 Llama-3.1-8B 上发现数千个小型可解释神经元群,常常不到 10 个神经元,就足以执行算术、全大写格式、语法一致、上下文复制、日期回忆等常见行为。
- 因果验证:移除这些小组会显著改变模型预测;保留它们时,即使消融掉相关层几乎所有其他 MLP 神经元,预测仍大体保持——说明它们对相应层的贡献既必要又充分。
- 方法无需预先指定功能,纯靠无监督发现。研究者称该项目大幅更新了他对「神经元作为可解释基」的先验认知。
作者包括 Goodfire 研究员 Igor Shilov 等,与帝国理工学院合作。
所属事件:Goodfire 发现 LLM 神经元社区机制(3 条相关)→
「研究」频道最新
- 循环层复用难救多模态嵌入,预训练加循环才涨 4.23 分 — _reachsumit · 2026-11-18
- 蚂蚁 Repo-Premium 基准:公平评测下 BM25 可追平稠密检索 — _reachsumit · 2026-11-18
- 快手提出 GBPO:诊断 GRPO 三大缺陷,生成式推荐训练更稳 — _reachsumit · 2026-11-18
- GainReason:按每句推理对目标预测的增益来奖励推理链 — _reachsumit · 2026-11-18
- 免训练检索方法 IN-Retriever:用注意力信号导航多跳查询 — _reachsumit · 2026-11-18
- 腾讯 TokenFormer V2 统一推荐架构:精度持平而算力省 5.1 倍 — _reachsumit · 2026-11-18