Transluce 新研究：神经元基底下语言模型电路同样稀疏且忠实
aryaman2020 · x · 2026-10-16
Transluce 发表论文《Language Model Circuits Are Sparse in the Neuron Basis》（Aryaman Arora、Zhengxuan Wu、Jacob Steinhardt、Sarah Schwettmann，2025 年 11 月 20 日）：
- 挑战主流假设：SAE、跨层转码器等方法建立在「原始神经元无法稀疏分解模型计算」的信念上；本文证明换用更好的神经元基（MLP 激活）+ 更强的归因方法（RelP），原始神经元就能产生与学习特征（learned features）一样稀疏、一样忠实的电路。
- 复现三个经典案例：仅用神经元电路（不依赖 SAE/转码器）在 Llama 3.1-8B-Instruct 上复现了多跳推理、加法、多语言反义词三个此前用学习特征演示的案例研究。
- 意义：如果原始神经元基就够用，可解释性研究可能无需昂贵的学习特征字典，也呼应了近期「神经元比 assumed 更有用」的社区讨论；作者致谢 aryaman2020 与 ZhengxuanZenWu 的神经元电路工作启发了本研究。
「研究」频道最新
- 仅 1 克！无线微型显微镜实现自由活动小鼠全皮层单细胞成像 — KordingLab · 2026-10-23
- Mike Frank 抛出超导可逆计算难题:能否用无偏置约瑟夫森结凑齐 BARCS 通用原语集 — MikePFrank · 2026-10-23
- Arc Institute 用基因组语言模型绘制原核非编码序列图谱 — tedgreenwald · 2026-10-23
- 同行评审的 AI 化：审稿人终于「进入附录」了 — abursuc · 2026-10-23
- Anthropic 用 Claude 为 100+ 开源库写下汇编级安全形式化证明 — AnthropicAI · 2026-10-23
- 研究提出 9 种策略为多 LLM 协作选模型，最优可超随机 36.1% — shangbinfeng · 2026-10-23