研究发现 GPT-2、Gemma、Llama 存在可解释的叙事机制
_akpiper · x · 2026-10-20
论文《Language Models Have Interpretable Narrative Mechanisms》（arXiv:2610.12989，David Yiyang Liu 等）探索了 LLM 如何理解"叙事性"（narrativity）。
- 研究发现 GPT-2-Small、Gemma-2-2B 和 Llama-3.1-8B 中存在特定的注意力头、MLP 神经元和 SAE 特征，能够追踪文本的叙事性程度
- 消融实验显示，移除这些组件在高叙事性文本上造成的下一 token 损失上升更明显，说明它们专门服务于叙事理解
值得注意的是，AI 论文评审平台 Pith 对该论文进行了独立评审，给出了"叙事学与机制可解释性的有趣结合"的总体判断，但同时提出 3 项主要异议：核心论点被表层形式（surface-form）SAE 特征的未量化威胁所削弱。
「研究」频道最新
- DeepMind 研究员警示:AI 投入若缺实验室,假说将多到无法验证 — weballergy · 2026-10-20
- 新播客:将 DeepLIFT 归因方法扩展到 AlphaGenome 等大模型 — anshulkundaje · 2026-10-20
- STalign 移植 C++ 后提速千倍，空间转录组比对从数小时到数秒 — anshulkundaje · 2026-10-20
- 依赖类型电子表格原型现身，开发者讨论用 Lean 证明 Excel 正确性 — rickasaurus · 2026-10-20
- 新研究:SOAP/SPlus 白化梯度协方差,96 个 DiLoCo 节点稳定扩展预训练 — aaron_defazio · 2026-10-20
- Sonia Joseph 谈世界模型与可解释性：一枚硬币的两面 — soniajoseph_ · 2026-10-20