LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
Teresa Delgado, Hugo Hazard, Martin Benfeghoul, Jun Wang, Zafeirios Fountas
cs.LG, cs.CL
2026-11-05
KV 值可从键预测:LowRAM 用每头小 MLP 重建值、只存最差 token 残差,4 倍压缩近无损,叠量化驱逐达 26.9 倍。
KV cache 让自回归解码不必每步重算全部历史,代价是显存随上下文和 batch size 线性涨,长上下文下直接卡死并发和吞吐。改架构(线性注意力、latent attention)要重训,主流开源权重至今仍是 GQA(几个 query head 共享一组 KV head 的配置)加全量缓存,后训练压缩因此是务实选项。现有方法分三族:驱逐按重要性丢 token,量化降存储精度,低秩分解把 KV 矩阵因子化。三族各吃一条冗余轴,但都把 key 和 value 当同一类东西处理。这篇找到一条没人系统用过的轴:同一个 attention head 内,value 大多能从对应的 key 预测出来,因为两者本是同一个隐状态的投影。
设计先做 source-target 实验:固定 3 倍压缩预算,分别用上一层键、上一层值、两者拼接、本层键去重建本层键或本层值,按下游 LongBench 分数挑,「本层键→本层值」最好。顺带发现重建误差和下游性能只有弱相关,后续决策全部看下游分数而非 MSE。
值这一侧叫 value cache amortisation:
键不预测。键更难预测,误差还会直接扰动 attention logits、把注意力引向错误 token;值的误差只发生在权重定完之后,容错更高。键的能量集中在少数方向,改用 xKV 跨层低秩分解(相邻层共享 SVD 基),压缩前先反转 RoPE(旋转位置编码)。解码开销用选择性重建控制:借鉴 ShadowKV 把前缀切块、均值键当 landmark,每步只按当前 query 重建 top-k 块,再用随机化 Cholesky-QR 换掉精确 SVD,4 倍加速无质量损失。
端到端压缩,恢复性能占未压缩基线的百分比:
| 设置 | Mistral RULER | Mistral LongBench | Llama RULER | Llama LongBench |
| 3× | 98.8 | 99.4 | 97.9 | 98.5 |
| 4× | 96.0 | 97.9 | 93.9 | 99.6 |
与单族方法对照(Mistral,LongBench):
| 方法 | 压缩比 | 恢复 |
| 量化(TurboQuant) | 5.1× | 98.9 |
| LowRAM | 4× | 97.9 |
| LowRAM-Q | 6.4× | 99.4 |
| LowRAM-EQ | 10.7× | 96.9 |
量化叠加是双赢:残差以低精度存储省下的内存换更多残差,Llama RULER 4× 的恢复从 93.9% 抬到 99.4%。驱逐叠加较差,它缩短序列却不减预测网络的固定成本。极端压缩看 LongBench 超过 10K token 的子集、保 90% 基线的最大压缩比:驱逐 10×、量化 7.5×、LowRAM 单独 9.0×,全栈 LowRAM-EQ 到 26.9×、恢复 94.5%,超过任何单族。效率上,元初始化把 TTFT(prefill 到首 token 的延迟)开销从 150 步更新的 26.3 倍压到 2 步的 1.3 倍;4× 压缩加选择性重建在 262K token 时峰值解码吞吐约 5 倍于基线,batch size 拉到 28 时基线已 OOM。消融里两个设计承重:去掉残差存储,LongBench 从 99.0% 掉到 64.9%;纯线性预测掉到 57.5%;一层共享一个预测器掉 19.5 点。残差按误差挑还是随机挑差别巨大:NIAH(大海捞针)任务上随机选不到 40%,按误差选 98%。
一条与三族正交的新冗余轴,而且后训练、不动底座、不改 attention,直接套存量 GQA 模型。对推理侧的实用点有三个:省下的显存直接换 batch size 和吞吐;与已部署的量化、驱逐管线可叠加;共享前缀场景(文档 QA、同一上下文多 query)贵的完整拟合只付一次。单看 4× 近无损,与好的量化方法差距不大,增量在可组合:26.9× 不是任何单族能到的数字。
作者自列:没评估长生成,那需要周期性压缩新生成的后缀;学到的键值映射多少跨上下文通用、多少上下文特定,还没拆清。结构性短板也承认:预测器参数是不随序列长度变的固定成本,约 2-3K token 以下占主导,RULER 4K 因此掉得比 LongBench 狠,与驱逐高压缩叠加互相挤压(Llama RULER 上 LowRAM-E 8× 只剩 79.9%)。省成本组合有价格:元初始化相对 300 步拟合在 RULER 掉 1.4-4.4 点,配选择性重建后 RULER 64K 为 92.4%。
读下来另有几点要盯:26.9× 依赖量化加驱逐、是 >10K 子集上保 90% 的最大评估点,不是 LowRAM 单独成绩;1.3× 的 TTFT 只算值摊销,含键分解的全管线更高;Qwen3.5-4B 是混合架构,报告倍数只对 full-attention 层子集成立;与最相近的预测式方法 AQUA-KV 没有端到端对照,只重跑了它的 probing 分析;模型规模只到 8B。