GeoPair: Geometry-Preserving Cross-Layer Factorization for Training-Free Transformer Compression
Baher Mohammad, Ammar Ali, Stamatios Lefkimmiatis
cs.LG
2026-09-22
GeoPair按各层激活几何配对并共享字典,免训练压权重。Llama-3 8B压掉20%后零样本均分从70.36落到68.17,明显好于相邻层启发式。
后训练压缩已经能对着校准激活做白化空间里的低秩近似,但默认还是一层一层单独压。深度 Transformer 里跨层方向高度重复,单独压等于把同一组基各存一份。
已有的跨层共享以 Basis Sharing 为代表:相邻层绑在一起,再把各层协方差平均成一份全局白化。平均会抹掉每层自己的激活几何;固定相邻又错过不相邻、甚至注意力和 FFN 之间其实更像的投影。GeoPair 要在完全免训练的前提下,把「谁和谁共享字典」和「共享字典怎么更新」都做成可解的优化。
压缩目标是校准激活重构,不是裸权重的 Frobenius 误差。每层用自己的 Gram 加 Tikhonov 正则做 Cholesky 白化,两层的白化空间因此本来就不一样。两层权重 \(W1,W2\) 共用一本字典 \(D\),各写系数 \(C1,C2\),目标是两边白化重构误差之和最小。
交替最小化两边都有闭式:
配对也不靠相邻。所有输入维度相同的投影(注意力和 FFN 可以混搭)建一张完全图,边权是白化空间里的归一化 Frobenius 子矩阵距离,用 Edmonds Blossom 求最大权匹配。字典用两层权重拼接后的 SVD 初始化。
校准默认 FineWeb 256 条。带稀疏的实验里,字典原子数与每列非零数之比 KS 取 2.5。
Llama-3 8B、压缩比 0.2、零样本均分(PIQA、HellaSwag、LAMBADA、ARC、SciQ、RACE、MMLU):
| 方法 | 均分 | WikiText PPL |
| 未压缩 | 70.36 | 7.26 |
| Basis Sharing | 53.47 | 41.26 |
| 仅 Sylvester | 56.4 | 26.82 |
| 再加最优配对 | 57.46 | 24.56 |
| GeoPair 全套 | 68.17 | 9.43 |
1B 上同样压 20%,全套从 57.61 回到 54.09;Basis Sharing 掉到 33.11,WikiText PPL 从 11.60 冲到 928。拿掉最优配对后,稀疏版均分从 54.09 降到 53.06,配对和稀疏是绑在一起的。
Llama-2 7B、20% 压缩,对剪枝族:GeoPair 均分 63.58 且免微调,高于 WANDA 的 57.23,也略高于要回血训练的 LoRAShear 62.22;未压缩是 68.59。Qwen3-8B / Gemma-3 12B / Phi-4 14B / Qwen3-32B 在 0.2 到 0.4 都压过 Basis Sharing。Phi-4 14B 压 20% 均分从 72.09 升到 74.07,作者把它写成小秩截断的去噪。视频侧压 Wan2.2 5B,50 条提示的 X-CLIP:基线 0.2165,压 20% 是 0.2164,压 40% 是 0.2111。
这是给部署用的免微调压缩:不用准备回血数据,也不用再跑一轮 LoRA。已经在做低秩或字典学习压缩的人,可替换点很具体,别再平均协方差,也别默认相邻层。跨模态那组实验说明同一套管线能碰到视频 DiT,但 50 条提示的 CLIP 差 \(10^{-4}\),更接近 sanity check。
8B 压 20% 只掉约 2.2 点,这是渐进改进里比较能用的一档。压到 40% 时 Qwen3-8B 均分从 70.46 掉到 58.88,已经不是几乎无损。
作者写明:目前只做两两配对。三项以上共享会变成无法闭式对角化的多束问题,只能迭代或张量分解,稳定性和开销都没解决。
剪枝对照表用的基准集合和主表不完全一样,是为了跟原论文对齐,不能把 63.58 直接和 Table 1 的 68.17 比。Gemma-3 12B 在压缩比 0.3 时,Basis Sharing 的 LAMBADA PPL 冲到 164,GeoPair 是 4.39,差距大到更像基线崩了。校准语料换成 WikiText、Alpaca 或 FineWeb,1B、40% 压缩下均分只差一两分,但 LAMBADA PPL 能从 21.69 跳到 39,生成质量对校准语料比准确率敏感。条数从 256 加到 1024,均分只再涨 0.9 分。全文只报参数压缩比,没有端到端推理加速。