Goodfire 研究：LLM 单个 MLP 神经元比想象中更可解释、功能更受限
The Cognitive Revolution · youtube · 2026-11-11
Goodfire 技术成员 Curt Tigges 在 Cognitive Revolution 播客中介绍其可解释性研究，核心发现是现代大模型中单个 MLP 神经元的可解释性和功能边界远超此前认知。要点：
- 自动化神经元科学家 agent：用 agent 跨架构（如 Qwen3.6-35B-A3B）自动提出并检验神经元功能假设，替代人工探测。
- 门控 MLP 的可读性：现代 gated MLP 神经元类似清晰的「合取」逻辑与控制信号，内部表征可直接枚举，无需复杂的外部 featurizer。
- 动态稀疏实验：模型可在大幅动态稀疏（大量神经元被消融/置零）下保持运行，且基准成绩几乎无损，说明冗余与稀疏激活的空间很大。
- 应用方向：为行为监控、persona steering、对齐相关的逆向工程提供了可操作路径，也指向「为可解释性而设计」的架构思路。
节目还讨论了单语义性（monosemanticity）与电路机制的关系、事实回忆与专家神经元等话题，全片约两小时。
所属事件:Goodfire 研究：多数神经元可读，可解释性前景乐观(4 条相关)→
「模型」频道最新
- 对比实测：Claude 肯写黑暗冒犯笑话，GPT 审查明显更严 — ivan_bezdomny · 2026-11-11
- 35 美分、14 分钟：944K 参数迷你自动补全模型跑进浏览器 — victormustar · 2026-11-11
- SuperGrok 又降额度?一天用掉 50%,九成 token 烧在冷启动 — NickPassig · 2026-11-11
- 烧 50 美元做 RL,只为让 Qwen3-8B 忘记怎么拼字母 E — AaronBergman18 · 2026-11-11
- WIRED 起底「Abliteration」群体：抹除开源模型拒绝护栏的自由派 — willknight · 2026-11-11
- 重放 64 次:Qwen 事故更像模型不可预测而非后门 — zakkohane · 2026-11-11