ICML Spotlight 论文：MLP 神经元与 SAE 同样稀疏，百个神经元即可操控模型
burny_tech · x · 2026-10-25
arXiv 论文《Language Model Circuits Are Sparse in the Neuron Basis》（Aryaman Arora、郑炫吴、Jacob Steinhardt、Sarah Schwettmann，ICML Spotlight）首次实证表明 MLP 神经元本身就是与 SAE 一样稀疏的特征基底，无需额外训练 SAE 即可做电路追踪。
- 团队据此构建了端到端、基于梯度的归因流水线，直接在神经元基底上做 circuit tracing，能在多种任务上找到因果有效的神经元。
- 在主谓一致基准上，约 10² 个 MLP 神经元组成的电路就足以控制模型行为。
- 在多跳推理任务（城市→州→首府）中发现小神经元集合编码了特定潜在推理步骤（如城市映射到州），并可通过干预这些神经元改变模型输出。
这项工作表明可解释性研究可以绕开 SAE 的训练成本，直接用神经元做自动化可解释性分析。
所属事件:ICML Spotlight 论文：百个 MLP 神经元电路即可操控模型行为(2 条相关)→
「研究」频道最新
- 清华 KT-FT 让 CPU 参与 MoE 微调计算，吞吐量最高提升 21.2 倍 — jiqizhixin · 2026-10-25
- State of AI 报告第 9 期：前沿已成三实验室竞逐 — nathanbenaich · 2026-10-25
- 基准测试该罚歧义还是罚失准?博主主张靠环境保真度解耦 — nirmal_dist · 2026-10-25
- 数学成 arXiv 增长最快领域，论文量达预期趋势 2 倍 — IgorCarron · 2026-10-25
- 作者发布 9 道可验证数学谜题测模型推理，Grok 把数值猜成证明遭批 — jarekduda · 2026-10-25
- UIUC 提出未来对齐评分 FAS，用历史论文训练 LLM 预判研究方向 — shangbinfeng · 2026-10-25