KAIST 提出 ResidualQuant：循环 Transformer 的 KV 缓存省 80%
sehoonkim418 · x · 2026-10-12
KAIST SEAL 团队发布 ResidualQuant，针对 Looped Transformer 的 KV 缓存瓶颈提出 2-bit 残差量化方案。
- 问题：Looped Transformer 跨循环共享权重以增加计算深度，但每个循环仍产生独立的 KV 缓存，内存随循环深度、上下文长度和 batch 大小增长，抵消了权重共享的收益。
- 方法：利用各循环间 KV 状态的高度相似性——把最后一个循环存为共享的 INT4 锚点，用最小二乘缩放预测前面的循环，只对残差做 INT2 编码；再配合共享旋转、按循环分配精度、混合精度，避免单独保留 BF16 区域。
- 效果：在 Ouro-1.4B、8k 上下文下，逻辑 KV 存储降低 80.7%，达到 3.27× 峰值解码吞吐，精度恢复到 BF16 水平（MATH500 上 76.0%）。
论文已上线，代码即将开源。
所属事件:KAIST 提出 ResidualQuant：2-bit 残差量化为循环 Transformer 省 80% KV 缓存(10 条相关)→
「Infra」频道最新
- Cloudflare Workers 调 Gemini 偶报 400:根因是机房路由落在香港 — sujingshen · 2026-10-12
- 2x DGX Spark 跑 DeepSeek v4.1 Flash:代码 103 tok/s 全场最快 — EAccelerate_42 · 2026-10-12
- 开源 ColGrep-Agent-2B 实测:本地检索替 Claude Code 省 34% token、40% 成本 — IgorCarron · 2026-10-12
- 英国大臣力推硬件验证 AI 能力，押注本国半导体设计优势 — S_OhEigeartaigh · 2026-10-12
- GPU 租金半年涨 27%,固定智能价格暴跌 63%,推理经济背离加剧 — jon_durbin · 2026-10-12
- 博通 CEO 押注 Anthropic 与 OpenAI 成败， commentators 质疑转述失真 — firstadopter · 2026-10-12