GeoPair 免训练压缩 Transformer,跨层配对分解达 SOTA

MTSAIR · hf · 2026-09-24

MTSAIR 发布 GeoPair,一种无需训练的 Transformer 压缩框架,针对现有后训练压缩各自优化层、或用启发式分组忽略各层激活几何的缺陷,提出顺序优化跨层权重配对与共享字典分解的方法。

方法找出结构上兼容的投影,学习能保留各层校准几何的共享表示,结合结构化稀疏得到高效权重分解。在多种架构、规模与模态上均超过独立结构化分解和启发式分组的配对分解方法,达到 SOTA。