补全 4096 组合实测：翻转模型答案只需几个神经元，整个回路并非必需
Ömer Tekin Yavuz · hf · 2026-11-11
一篇可解释性研究（arXiv:2611.13885）追问：当干预一组神经元能改变模型答案时，这组神经元究竟有多少是真正必要的？
- 背景：此前演示显示，移除 Qwen3-32B 中一组 18 个神经元可让模型对狮子王双跳谜题的回答从 Scar 变成 Simba——但这类演示未回答必要性与可迁移性。
- 方法：对每组选出的 12 个 MLP 神经元，穷举测量全部 4,096 个子集。
- 关键发现：整个神经元组很少必要——少数几个神经元往往就够，且许多关系链上互不相交的子集各自都能独立翻转答案（多发生在模型信心不足时）。
- 跨问题验证：在双跳关系链上，用第一跳问题的激活 patch 这 12 个神经元，能让答案转向桥接实体：Qwen3-1.7B、Llama-3.2-1B 各 9/11 条链、Gemma-3-1B 8/10 条链命中，随机神经元从不命中；组效应在同链改写间可迁移，但跨链弱得多。
- 另一发现：首都二选一任务上 zero-ablate 降低 27% 答案 margin，但用其他问题的值替换这些神经元几乎无影响——其激活跨问题近乎恒定，未发现携带问题特定内容。
结论：神经元组的因果效应真实存在但冗余度高，可解释性演示需要更严格的必要性检验。
「研究」频道最新
- Scandinavian Journal of Statistics 编辑撰文反思生成式 AI 时代的统计学出版 — michaelchchoi · 2026-11-11
- Claude Opus 5.5 自主设计架构搜索,发现新 Transformer 架构 AttnRes-Canon — SonglinYang4 · 2026-11-11
- 科研老手 5 条经验：倒读论文、复现优先、用 MCP 连接编码代理 — cneuralnetwork · 2026-11-11
- 在安卓手机上跑 3B 小模型，用 Jupyter+Pydantic Evals 自建评测 — alex_b3b · 2026-11-11
- cloneofsimo 发布讲解行列式点过程 DPP 的视频 — cloneofsimo · 2026-11-11
- 从内部状态绘出 Qwen3-8B 的「触觉身体地图」并做成解剖图 — repligate · 2026-11-11