KAIST 提出 ResidualQuant：2-bit 残差量化为循环 Transformer 省 80% KV 缓存

KAIST SEAL 团队（Heejun Kim 领衔，Sehoon Kim 等）发布论文 ResidualQuant，针对 Looped Transformer 的 KV 缓存膨胀问题提出 2-bit 残差量化方案，可节省约 80% 显存，并在 RTX 5090 实测中将解码吞吐最高提升 4.15 倍，是让循环架构走向实用化的关键一步。

已确认

• 问题背景：Looped Transformer 通过循环复用同一组跨层共享权重做更多计算，但每一轮循环都会产生自己的 K/V 状态，KV 缓存随循环次数线性膨胀；示例配置 Ouro-1.4B（8192 tokens、24 层）在 4 个循环下即面临可观的缓存开销，更长上下文和更大 batch 会进一步放大开销。
• 核心思路是「共享模式、只存差异」：各轮循环的 KV 状态高度相似，直接全部压到低比特会丢失信息；方法用循环网络的最后一个 loop 作为共享锚点（4-bit 存储），每个 loop 减去锚点得到残差，仅以 2-bit 存储；重建时读回锚点加残差即可。
• 关键洞察：先重建一轮、再存差异，残差中离群值更少，因此用极低比特即可表示。
• 压缩效果：KV cache 存储降低约 80%（一说 80.7%）；在 MATH500 上准确率从 27.8% 提升至 76%，说明压缩后不仅不掉点反而明显更优（对照应为朴素低比特量化基线）。
• 吞吐收益：在 RTX 5090 上运行 Ouro-1.4B、相对 BF16 基线，压缩降低每请求显存流量并释放显存以并发服务更多请求，解码吞吐最高提升 4.15 倍（16K 上下文场景；8K 及 4K 上下文亦有相应提升）。

为什么重要

• Looped / 权重复用架构是用小参数量换更多计算深度的一类省参数路线，但 KV 缓存线性膨胀是其实用化的关键瓶颈，ResidualQuant 直接命中该瓶颈，且同时改善了吞吐与并发能力。
• 「共享锚点 + 低比特残差」利用了循环状态间的相似性，对其他存在冗余状态的缓存压缩问题也有参考价值。

2026-10-12 ~ 2026-10-12 · 10 条相关

• KAIST 提出 ResidualQuant：循环 Transformer 的 KV 缓存省 80% — sehoonkim418 · 2026-10-12
• 【源头】Looped Transformer 的 KV 缓存困境：ResidualQuant 用 2-bit 残差省 80% 显存 — sehoonkim418 · 2026-10-12
• 利用循环间 KV 状态相似性做低比特量化，破解循环模型显存瓶颈 — sehoonkim418 · 2026-10-12
• ResidualQuant 细节：共享 4-bit 锚点 + 2-bit 残差重建循环 KV 状态 — sehoonkim418 · 2026-10-12
• ResidualQuant:2比特KV压缩,MATH500准确率从27.8%升至76% — sehoonkim418 · 2026-10-12
• 【源头】ResidualQuant实测:RTX 5090上16K上下文解码吞吐提升4.15倍 — sehoonkim418 · 2026-10-12
• ResidualQuant 压缩 KV cache,解码吞吐最高提升 4.15 倍 — sehoonkim418 · 2026-10-12

另有 3 条近重复转述:sehoonkim418 · sehoonkim418 · sehoonkim418