The Linear Representation Hypothesis Needs a Group Action
Louie Hong Yao, Yuhao Li, Shengchao Liu
cs.LG, cs.AI, cs.CL
2026-09-23
港中文把线性表征假说写成(G,M,F,P)四元组：探针在对偶空间、转向向量在原空间，同一拒绝方向的两种用法其实是两个假说。
可解释性里到处在用「线性表征」：线性探针、difference-in-means 转向、稀疏自编码器、表征相似度。默认在谈同一件事。港中文的 Yuhao Li、Shengchao Liu 和独立研究者 Louie Hong Yao 指出，这件事从来没被说清楚：两个表征何时算同一个。
Arditi 等人估出一个 difference-in-means 向量，然后用了两次。一次不加归一化直接加到激活上，它是向量空间 V 里的位移，模长会影响干预强度。一次先归一化再把这个方向投影掉，只剩射影空间 P(V) 里的一条线。两次都有效，也被写成「存在一条拒绝方向」的证据。同一个数组被放进了不同的数学对象，对应的等价关系也不一样。
问题不在哪一次操作非法。估计、比较、干预三步经常悄悄换对象，最后的结论却当成在谈同一件事。
一条表征主张被写成四元组 (G, M, F, P)。G 是等价群，规定哪些坐标变换只是换了一种写法。M 是对象所在的空间，以及 G 怎么作用在这个空间上。F 是从表征抽出这个对象的程序。P 是最终对这个对象断言的性质。F 必须对 G 等变，P 必须对 G 不变，否则结论绑在某一套坐标上。
常见的 G 排成一条链：Giso ⊂ Gsim ⊂ Gaff。仿射群 Gaff 允许任意可逆线性变换加平移，保住共线、子空间维数和交结构，不保住角度和长度。相似群 Gsim 把线性部分限制成正缩放乘正交矩阵，余弦还在。等距群 Giso 再把缩放钉死，模长才有意义。群越大，能算「表征本身的性质」的量越少。
同一套线性说法，对象可以完全不同。位移（词向量类比、difference-in-means、Contrastive Activation Addition）住在 V，仿射变换下 v ↦ Av。线性探针住在对偶空间 V，变换律是 w ↦ A^{-⊤} w。superposition 和稀疏自编码器把激活写成特征方向的线性组合，激活侧仿射协变，潜变量还有自己的坐标混叠。一维特征自然住在 P(V)，k 维特征住在 Grassmannian Gr(k, V)。days/months 那种圆形结构就是二维对象，单方向装不下。
命题 3.2 把最容易混的一对钉死：dim V ≥ 2 时，不存在非零的 GL(V) 等变映射 V → V。内积只能在 Giso 下把对偶向量认成原空间向量；升到射影方向后，对称性放大到 Gsim。ℓ2 正则的探针拟合同样把等变性打到等距。difference-in-means 和 PCA 主方向都能落在 P(V)，但前者不需要内积，后者需要内积来给方差排序。对象空间相同，程序的对称性可以不同。
G 也不能随便选小。架构里已经有保持函数不变的重参数化，论文叫 architectural floor。点积注意力里，WQ ↦ Λ WQ、WK ↦ Λ^{-⊤} WK 对任意 Λ ∈ GL(dhead) 都不改模型函数。这条规范变换在残差流上是平凡的，在 query 或 key 位点上却把 Im ρ 撑成整个 GL(dhead)。那里不存在非零的不变双线性型：取 Λ = cI 会迫使任何候选双线性型为零。固定内积定义的夹角和模长，在这些位点上不是模型不变量。有 RoPE 时规范群缩小成各旋转平面独立缩放加旋转，实维度仍等于 dhead。各平面缩放因子独立变化，模长、余弦、PCA 方向、log det(KK⊤) 照样不是不变量。
多阶段分析还要看复合映射。一条方向可以在 Gaff 下估计、在 Gsim 下用余弦比较、在 Giso 下用模长校准，整条管道默认只在最严的那一档成立。中心化是个反例：激活先减均值之后，余弦可以对平移不变，未中心化的余弦不行。对称性不能靠各阶段群的交集来猜。
这篇没有新的模型分数，审计的是现有方法在测什么。Table 1 按「能保住它的最大群」分组：Gaff 保住 4 个量（精确秩、张成、CCA、子空间包含与交维数）；Gsim 保住 9 个（余弦与夹角、主子空间、相对阈值秩、有效秩、本征维、主夹角、Grassmann 距离、线性 CKA、近邻一致性）；Giso 保住 5 个（模长与距离、干预幅度、绝对阈值秩、Procrustes、重构损失）。字典学习同时踩两个空间。激活侧重构的欧氏损失把对称性压到 Giso；潜变量侧坐标稀疏罚把混叠对称性压到符号置换。
个案更具体。Bhalla 等人把探针权重和转向向量都当加性干预方向，再用余弦比方向。指定度量之后，余弦比较可以在 Gsim 下有意义；把探针系数直接当位移，只在 Giso 下等变。CAA 跨行为归一化模长、跨层不归一化；Activation Addition 完全不归一化。同一个数值系数在两套约定里不是同一个位移。Wollschläger 等人把优化得到的拒绝方向缩放到 difference-in-means 的模长，等于显式选定一套欧氏尺度。
KeyDiff 用 head 内 key 的成对余弦做 KV cache 驱逐，并报告 key/query 余弦、L2 范数、PCA 和 log det(KK⊤)。驱逐规则的实测效果这篇不争论。这些几何量在 QK 规范下都不是不变量。规范相关的参数化计算同一个模型函数，余弦规则却可以选出不同 token。附录给出一个不变量版本：用 query 二阶矩 Ω 定义 d(k1,k2)² = (k1-k2)⊤ Ω (k1-k2)，它等于替换 key 时注意力 logit 的均方变化。Ω ∝ I 时退回欧氏距离。Yamagiwa 等人比较的是投影矩阵转置的列空间，落在残差流里，WQ ↦ Λ WQ 不改这个张成，对上了架构对称性。
ITI 用探针找相关注意力头，再比较探针权重、mass-mean-shift 和 CCS 方向做干预。干预时方向归一化，位移按该方向上激活的经验标准差缩放。在相似变换 A = sQ 下，校准后的位移 σŵ 随 A 协变，整条构造与 Gsim 相容；把 V 里的探针方向认成 V 里的干预方向，仍然依赖选定的相似几何。SVCCA 的 CCA 阶段本身对中心化表征仿射不变，前面的奇异值截断已经把仿射不变性丢掉，后段补不回来。
同一套缺口出现在柏拉图表征假说上。不同宽度的模型不共享一个表征空间，跨模型比较走的是共享输入上的邻域或相似度矩阵，主张还被输入分布索引。Kornblith 等人已证明：宽度不少于样本数且两激活矩阵行满秩时，对任意可逆线性变换不变的相似度分不出这两份表征。等距解释又太强，不同宽度、分词器和训练目标几乎不可能在绝对度量上对齐。现有评测实际靠近 Gsim，有效等价由对齐指标决定，没有独立声明。
做探针、转向、SAE、表征对齐的人，这篇没有新算法。它给的是一份声明规范：对象住在哪个空间、G 是哪个、F 为何等变、P 断言什么、读的是哪个位点。不写群论符号也可以，但这些选择必须能从主张本身读出来，不能靠翻实现去猜。
实际代价很明确。有些结论一旦把几何假设写出来就会变窄。有些比较必须补一个等变映射。有些量只能算「表征加上选定度量或参数化」的性质，不能算表征本身。把一切都声明成 Giso 更省事，但架构已经实现了 Giso 以外的变换时，这条路被条件 (A2) 堵死。
对从业者最直接的一条：残差流上的余弦和 Q/K 位点上的余弦不是同一类陈述。后者默认在谈一组特定参数化，不是在谈模型函数。层间用恒等映射搬方向，只因为两边都是 d 维，同样不够。
可接纳性 (A1) 靠缩小 G 或削弱 P 总能满足，有内容的是极大性：主张能在多大的群下仍成立。Table 1 按最大保住群排，正是这个原因。
这是一篇立场论文，没有新实验去量化「说清等价群」之后有多少结论会被收回。审计过的个案是选择性的，覆盖了拒绝方向、CAA、Activation Addition、KeyDiff、ITI、SVCCA，没有覆盖整个可解释性文献。
框架只处理了仿射层级里的三个群。真实训练还会引入排列对称、缩放-移位归一化，以及优化路径带来的更窄轨道，这些没进主表。RoPE 附录把 key 位点的规范群算清楚了，但没给出大规模模型上「余弦驱逐 vs 不变量 d」换 token 的实测比例，只证明规范相关的参数化可以选出不同 token。
另一个缺口是经验义务。如果有人坚持只关心手头这组参数 θ 的几何，框架允许，但那是 θ 加训练程序的性质，不是模型函数 fθ 的性质。要推广到模型，需要跨种子、跨训练 run 的稳定性。论文指出这条义务很少被履行，自己也没补实验。
没有操作化的「最大群」估计算法，执行仍靠人工对表。