Transformer 逆向工程新发现：存在可解释的“特权轴”
dyamins · x · 2026-08-04
作者发布了《逆变理论》（Theory of Contravariance）的第二版更新。新版本探讨了 Transformer 中的逆变性，以及表征相似性分析（RSA）和中心核对齐分析（CKA）的理论。
主要发现包括：
- Transformer 存在“特权轴”：与卷积神经网络类似，如果在 MLP 层和注意力头中观察，能发现这些特权轴。特权头的识别对于理解 LLM 中可解释结构的涌现具有关键意义。
- RSA 的新分解方法：可以将表征相似性矩阵（RSM）分解为任务相关的“核心几何”和任务无关的对称生成项。通过投射到特权轴上，可以过滤掉任务无关的部分，从而实现弱模型与强模型之间的等效性分析。
「研究」频道最新
- NeurIPS 2026 竞赛：开发能议价与说服的 AI 智能体 — Old_Station_4584 · 2026-08-04
- 微软研究员探讨强化学习：为何业界只关注正向激励？ — gerardsans · 2026-08-04
- 神经科学研究：AI 模型可指导脑部微刺激改变灵长类行为 — dyamins · 2026-08-04
- 开源蛋白质结合剂数据库发布，覆盖超8000种靶点 — jueseph · 2026-08-04
- ICML 2026论文MoRAM：用记忆原子破解大模型灾难性遗忘 — 量子位 · 2026-08-04
- ASCIITermDraw Bench 发布：专测 VLM 画架构图与拓扑图能力 — East-Muffin-6472 · 2026-08-04