Beyond Selection: Token Parameterization for Extreme Visual Token Compression
Rui Zhong, Yu Li, Zheyu Yan, Cheng Zhuo
NeurIPS 2026 (Spotlight)
cs.CV, cs.LG
2026-09-28
浙大提出Braco：DCT低频骨干加空间残差，25个token保95.2%精度，压缩器比QueCC快16.6倍。
视觉语言模型把一张图编成几百到几千个 visual token，后续 LLM 的注意力和显存都随这个长度线性涨。手机推理、低延迟 agent、长上下文多模态对话往往只能给视觉侧留几十个位置。中等压缩比下，按重要性剪 patch 或合并冗余 token 仍然划算；压到极端预算时，低分 token 里可能藏着任务真正需要的小证据，attention 当重要性代理也不稳。
Learned resampling 走另一条路：用 Perceiver 式交叉注意力或可学习 query，把稠密网格蒸馏成固定数量的 latent token。精度通常更高，账单开在压缩模块内部：额外注意力、参数，以及分阶段的跨模态对齐。浙江大学这篇 NeurIPS 2026 Spotlight 把问题改写成 token parameterization：压缩质量由「保留哪个子空间」和「子空间里坐标怎么排」两件事共同决定。前者管 compressibility（可压缩性），后者管 learnability（可学习性）。
方法名叫 Braco，是 Backbone-residual + basis + coordinate 的缩写。视觉编码器先给出 N×N 的 patch 网格，LLaVA-1.5 默认 24×24=576。编码器 g 把网格压成 K 个 token，四步串起来：
残差放空间域有明确理由：局部尖峰在 DCT 里被摊开，最好的 m 个频率系数也捞不回多少能量。空间侧做稀疏加权求和，补的是骨干天生看不见的那一块。
主实验接在 LLaVA-1.5-7B 上，八个 benchmark 的分数相对 576 token 的 Vanilla 做归一化，得到 Acc.。Vanilla 单图全管线 prefill 是 8.67T FLOPs、67.25ms。对照覆盖剪枝合并（PruMerge、DivPrune）、学习接口（MQT-LLaVA、QueCC、TokenPacker）和频域编码（Fourier-VLM）。
| 方法 | token | 压缩比 | Acc. | FLOPs | 延迟 |
| Vanilla | 576 | 1× | 100.0 | 8.67T | 67.25ms |
| Braco | 25 | 23× | 95.2 | 1.37T | 41.03ms |
| TokenPacker | 25 | 23× | 94.2 | 1.38T | 38.40ms |
| Braco | 16 | 36× | 94.0 | 1.25T | 40.59ms |
| QueCC | 16 | 36× | 93.9 | 1.36T | 63.22ms |
| Braco | 9 | 64× | 93.2 | 1.15T | 40.22ms |
| QueCC | 9 | 64× | 93.1 | 1.26T | 62.79ms |
| Braco | 4 | 144× | 91.2 | 1.09T | 40.97ms |
| QueCC | 4 | 144× | 91.4 | 1.20T | 64.17ms |
23× 到 64×，Braco 处在 Acc.与成本前沿。144× 上和 QueCC 差 0.2 Acc.，延迟仍低一截。相对 Vanilla，prefill FLOPs 从 8.67T 降到 1.15T 至 1.37T，降幅 84.2% 至 86.7%。16 token 时只量压缩模块：Braco 1.073ms、1.389G，QueCC 17.864ms、109.504G，延迟差 16.6 倍，FLOPs 差 78.8 倍。
逐项看，25 token 时 MMBench-EN 是 65.4，对 Vanilla 的 65.5，几乎没掉；TextVQA 从 58.0 掉到 52.3，读图中文字更受伤。同一预算下 PruMerge 的 Acc. 只有 80.2，纯剪枝在极端压缩里已经塌了。频域近亲 Fourier-VLM 在 25 token 上是 92.9。
输入变大，省得更明显。Vicuna-7B 把视觉输入拉到 2880 token、仍压 36× 到 80 个，Braco Acc. 98.1，全管线 40.57T 降到 3.45T、261.08ms 降到 44.36ms。Qwen2.5-3B、3645 token 压到 20 个（182×），Braco 保住 90.8 Acc.，QueCC 掉到 68.9。QueCC 的 query 依赖压缩在小 LLM 上不好摊销，729 和 1024 输入下延迟甚至超过未压缩基线。
消融也对齐这套分解。9 token 时混合 c2s5 得 93.2，纯骨干 c3s0 是 89.8，纯残差 c0s9 是 92.0；同一 C=2 骨干加上 5 个残差，Acc. 从 85.7 升到 93.2。16 token 时把 DCT 换成空间或 Haar 掉 2.3 至 3.0 点，换错坐标或随机旋转掉 2.5 至 3.1 点，Polar embedding 换成可学习或 2D 正弦余弦掉 0.8 至 0.9 点。三颗训练种子下，16、9 token 领先 QueCC 0.24、0.27 点，标准差不超过 0.14。
这是把经典变换编码接到 VLM 视觉接口上的渐进改进，打点很具体：视觉 token 从几百压到几十，LLM prefill 才能从线性成本里脱身。接口不看 prompt，压缩器停在 GFLOP 量级，比 QueCC 这类 query 重采样便宜一个数量级。8 张 A100 上 16 token 的两阶段训练是 0.4 小时预训练加 6.5 小时指令微调，比 Vanilla 的 3.5 加 10 小时短，也不比 QueCC 慢。代码已开源。
端侧 VLM、长上下文多图、AnyRes 高分辨率切片后 token 爆炸，这些场景值得试。视频、密集定位、非 LLaVA 配方，论文没有声称能直接搬。
作者自己划了范围：评测主要在 LLaVA 系视觉编码器到 LLM 管线和标准单图 benchmark 上，为的是对齐可复现的端到端训练代码、数据和 checkpoint。坐标规则按测过的 encoder 和分辨率标定，换 backbone、视频输入、密集定位、领域分布、不规则区域特征或动态 visual token，可能要再扫骨干、残差分割和坐标组织。三种子对照只覆盖与 QueCC、TokenPacker 的关键预算，其余 Acc. 各只有一个 checkpoint。
读下来还要打几处折。Acc. 是相对 Vanilla 的八项归一化均值，不是某一项绝对分。576 token 设定下全管线延迟仍含与 token 数弱相关的视觉编码和 prompt 处理，极端压缩的端到端收益在高分辨率输入上更清楚。CelebA 线性探针只说明冻结坐标还能读属性，不能替代多模态主表。QueCC 在 25 token 上因原生网格做不出 5×5、对不上固定 24×24 格子被拿掉，这块没有直接对照。