利用循环间 KV 状态相似性做低比特量化，破解循环模型显存瓶颈

sehoonkim418 · x · 2026-10-12

作者讨论循环（looping/recurrence）架构的一个显存痛点：循环让模型用相同权重做更多计算，但每一轮循环都会产生自己的 K/V 状态，KV cache 随循环次数线性增长；更长上下文和更大 batch 会进一步放大这部分开销，限制并发并增加解码时的 KV 内存搬运。

直观解法是 KV cache 量化，但把所有 KV 状态压到低比特会丢信息、伤精度。作者指出的机会在于：不同循环之间的 KV 状态高度相似。用一条循环的状态去重构另一条，得到的残差中离群值（outliers）大幅减少，因此只需极少的比特就能表示——配图展示了 Loop 1 与 Loop 2 的 |K| 分布几乎一致，而残差 |K₂ − α₂K₁| 的幅度被压到接近零，验证了这一量化思路的可行性。