研究表明 d 维空间有指数级近正交方向，叠加几乎必然被神经网络采用

livgorton · x · 2026-10-16

livgorton 在讨论可解释性文章的线程中写道：superposition 并非什么「激进」现象——一个 d 维空间只有 d 个正交方向，却有指数多个「近正交」方向。考虑到神经网络表示的稀疏性，如果网络不利用这种容量反而令人惊讶。

她还指出这一定义多年来高度一致：连 2020 年的《Zoom In》也把 superposition 描述为「在有限神经元里塞下更多特征」，其前提是特征很少共同出现；语义无关性只是好的示例来源，并非 superposition 的必要条件。