Rethinking Sequence Compression with Test-time Regression
Sihan Yang, Jie Huang, Hanxuan Li, Yifan Guo, Weigao Sun, Yiran Zhong, Weiyang Liu
cs.LG
2026-10-23
TTR-Compressor 把 token 块解成一道岭回归并用闭式系数当摘要，在 345M 模型上把 RULER 检索均分从注意力池化的 0.392 提到 0.514，视觉侧则少用 55.6% 的 token 打平 MLP。
块稀疏注意力要把每块 token 收成检索键，query 靠它决定远处哪几块还值得看。多模态模型要把相邻视觉特征收成更少的 token，再送进语言主干。压缩是这两类结构的窄口，丢掉的信息后面补不回来。
常用压缩器不看 token 间的关系。Mean pooling 一视同仁，线性投影的权重跟位置绑死，注意力加权池化则单独打分再相加。重复内容互相加强，关键 token 被冲淡。计算停在一阶汇总，相似度这种二阶结构进不去。
TTR-Compressor 把加权平均换成岭回归，系数即压缩结果。自变量 k 是归一化后的 token，只留方向；因变量 v = a^T x 保留模长，a 可学习。h 拟合这组预测，对角阵 D 的元素为 softplus(ρ)，与 a 一起由下游损失更新，不必手调 λ。
归一化只作用在自变量上。连因变量一起归一化，h 会塌向静态向量 a。外层用任务损失学习 a 与 ρ，内层对每块闭式求解。推理不更新参数，只重算 h。这里的 test-time 指系数随输入变化，不是推理时做梯度下降。
T 远小于 d，实验里取 4、9 或 64，d 至少 1024。对偶形式用 Cholesky 分解解一个 T×T 系统，复杂度 O(T^2 d + T^3)，不必对 d×d 求逆。基础参数量 2d。卷积只加在因变量上，语言用核长 5 的一维 depthwise，视觉用 3×3，参数分别到 7d 和 11d。
权重由 Gram 矩阵联立决定。归一化之后，矩阵元素就是 token 两两的方向相似度，相似 token 已经解释掉的部分不会再线性叠加。附录里，重复样本的边际贡献会衰减。图 2 把正则设成单位阵、目标设成全 1：三个重复 token 对一个独特 token，相加池化的相对影响是 3 比 1，联合回归收成 3 比 2。
这跟 test-time training、DeltaNet 不同：那些方法维护快速权重再供 query 读取，内层多是一步梯度或 delta rule。TTR 的系数本身就是摘要。块与块没有依赖，因此一次精确求解即可。
语言侧接在 HiLS-Attention 上，只换压缩器。345M 参数、16 层、隐藏维 1024，在 FineWeb 上以 8K 上下文训练约 30B token。块长 64，每个 query 至多再选 32 个远块，局部窗口 512。评测用 RULER 的单针 S-NIAH 与多键 MK-NIAH，长度从 4K 到 32K。
| 压缩器 | RULER 均分 |
| 滑窗注意力 | 0.0635 |
| 全注意力 | 0.2632 |
| Mean pooling | 0.2971 |
| 拼接后投影 | 0.3919 |
| 注意力加权池化 | 0.3920 |
| TTR | 0.5092 |
| TTR 加卷积 | 0.5144 |
卷积版高出最强压缩基线 12.2 个百分点，不加卷积高出 11.7 个百分点。逐格并非全胜。S-NIAH-1 上，TTR 在 4K、8K、16K 为 0.996、0.996、0.992，注意力加权池化为 0.944、0.914、0.876；到 32K，TTR 掉到 0.650，反低于 0.740，卷积版回到 0.988。全注意力在 16K 和 32K 的该项为 0，它只在 8K 训练。S-NIAH-2 在 32K 只有 0.126。常识十项的平均在 48.1 附近，序列太短，稀疏注意力不会启动，预训练没有被带崩。
规模放到 1B、100B token 后，对照只剩注意力加权池化：均分 0.7996 对 0.735。TTR 的 S-NIAH-1 从 4K 到 32K 全是 1.000。差距集中在更难、更长的格子，32K 的 S-NIAH-3 为 0.662 对 0.550，MK-NIAH-1 为 0.412 对 0.314。
视觉编码器是 Qwen3-VL 的 ViT，语言模型是 Qwen3-4B-Instruct。Merger 先在 LLaVA-558K 上训一个 epoch，再与语言主干在 130 万图文、多图和视频指令上训一个 epoch。2×2 平均分，MLP 为 54.93，TTR 为 55.92，加卷积为 56.03。3×3 差距变大，MLP 为 52.27，TTR 为 54.30，卷积版为 54.85，高出 2.58 分。文字密的三项涨得最多，卷积版相对同为 3×3 的 MLP，OCRBench、InfoVQA、ChartQA 分别高 4.10、4.54、3.56。卷积版 3×3 的平均分 54.85，贴近 MLP 做 2×2 的 54.93，视觉 token 数是后者的 4/9，少 55.6%。
去掉 key 归一化，均分从 0.5092 掉到 0.2531，因为 a 变成精确拟合，h 被拉向固定向量。固定 λ 里 0.001 已到 0.5023，可学习标量 0.4971，对角阵 0.5092。λ 取 0.0001 或 1 时只有 0.4364 和 0.4238。对角正则比调好的标量大约只高 0.0069，主要是免得再扫 λ。3×3 视觉上，常数目标 53.56，线性目标 54.30，线性加卷积 54.85，更深的目标头最高 54.55。邻域上下文比目标头的容量有用。
T 远小于 d 时，参数量是 2d，避开随 d 平方增长的投影。8 张 H100 上，可学习压缩器的训练时间接近，mean pooling 最快也最弱。16 张 H100 上，视觉 2×2 的 TTR 略慢于 MLP，3×3 更快。上下文超过 16K 后，各压缩器的预填充和解码都明显快于全注意力。论文没给毫秒表。
稀疏注意力的摘要是检索键，偏了就选不中相关块。视觉合并的摘要要留给语言模型读。同一个闭式算子两边都胜过默认压缩器。
它按块独立、可微，推理不做内层优化，基础参数每个压缩器只加 2d。视觉 token 的账更清楚：平均分打平 2×2 的 MLP 时，3×3 卷积版的 token 不到一半。2×2 本身只高大约 1 分，差距出在更强的压缩率上。
主实验是 345M、约 30B token。1B 附录只对照了注意力加权池化，没有同步放大其他基线，离现役长上下文模型还远。压缩器只在 HiLS-Attention 里替换过，骨架还有分层 softmax、低秩 query 校准和 HoPE。换到 NSA 或 MoBA 之后是否同样有效，没有测。
全注意力在长上下文接近 0，原因是训练长度只有 8K，没有这套外推设计。公平对照只在同一骨架的压缩器之间。即便如此，32K 的 S-NIAH-2 只有 0.126，多键约 0.11。最容易的单针在 32K 上，不加卷积的 TTR 为 0.650，还低于注意力加权池化的 0.740。
视觉只比了拼接后的两层 MLP，没有 ToMe 或其他 merger。两段训练各一个 epoch，第二阶段更新 merger 和语言主干。TTR 后面还要接两层 MLP 才对齐隐藏维。平均分能打平 2×2，OCRBench 和 ChartQA 没有打平：卷积版 3×3 分别是 60.00 和 67.16，2×2 MLP 是 62.80 和 70.64。
冗余会被压低，依据是 Gram 矩阵的推导和图 2 的例子。真实块上的权重 α 有没有压低背景，论文没有展示。拿掉归一化，均分掉到 0.25，构造稍变就不成立。对偶求解里的三次方项只在短块上便宜，压不了整段上下文。