KAIST 团队推出 ResidualQuant:2 比特残差压缩 KV Cache,存储降 80.7%
sehoonkim418 · x · 2026-10-12
KAIST SEAL 实验室发布论文 ResidualQuant,针对 Looped Transformer(循环复用权重的架构)的 KV Cache 压缩问题。
核心问题:Looped Transformer 虽共享权重,但每次循环产生独立的 KV cache,内存仍随循环深度、上下文长度和 batch size 增长,限制了吞吐量提升。
方法:
- 利用各循环间 KV 状态高度相似的特性,把最后一次循环存为共享 INT4 锚点
- 用最小二乘缩放预测早期循环的 KV,仅以 INT2 编码剩余残差
- 配合共享旋转与按循环分配的混合精度,无需为历史 KV 保留 BF16 区域
结果:在 Ouro-1.4B、MATH500 上,BF16 级精度下逻辑 KV 存储降低 80.7%,8k 上下文解码峰值吞吐达 3.27×(RTX 5090)。代码即将开源。
所属事件:KAIST 提出 ResidualQuant：2-bit 残差量化为循环 Transformer 省 80% KV 缓存(10 条相关)→
「Infra」频道最新
- Ben Bajarin:看内存别再套历史周期,AI 已抬升需求底部 — BenBajarin · 2026-10-13
- NVIDIA 携思科推出 USFP 光模块:单通道 400Gb/s,带宽密度 4 倍 — BenBajarin · 2026-10-13
- 机器人研究也要堆算力:一项工作用掉 64 块 H200 引热议 — chris_j_paxton · 2026-10-13
- 美国算力不够用? Foreign Policy 建议盟友托管数据中心换前沿 AI — abhiadesai · 2026-10-13
- 华为徐直军:昇腾国内份额已超英伟达,25.6万卡超节点部署中 — pstAsiatech · 2026-10-13
- CoreWeave 推出模型蒸馏预览:用生产数据训练小模型替代高价前沿模型 — altryne · 2026-10-12