KAIST 团队提出 ResidualQuant:2-bit 残差量化为 Looped Transformer 省八成 KV 缓存
sehoonkim418 · x · 2026-10-12
KAIST SEAL 团队(Heejun Kim 领衔,Sehoon Kim 等)发布新论文 ResidualQuant,针对 Looped Transformers(跨层共享权重)的 KV cache 冗余问题提出压缩方案。
核心问题:Looped Transformers 反复复用共享模块以增加计算深度、不增参数,但每一轮 loop 都会生成独立的 KV cache,内存仍随递归深度、上下文长度和 batch 大小线性增长,拖累吞吐。
方法:
- 利用各 loop 之间 KV 状态高度相似的特性,把最后一轮的 KV 存为共享的 INT4 锚点
- 用最小二乘缩放预测较早轮次的 KV,仅将剩余残差编码为 INT2
- 通过共享旋转(rotation)与逐 loop 的混合精度分配,保留 loop 特有信息,无需为历史 KV 保留 BF16 区域
效果:在 Ouro-1.4B 上以 MATH500 测试,可恢复接近 BF16 的精度(76.0% 准确率配置),逻辑 KV 存储降低 80.7%,8k 上下文下解码吞吐峰值达 3.27×(RTX 5090,decode only,group size 32)。代码即将开源。
所属事件:KAIST 提出 ResidualQuant：2-bit 残差量化为循环 Transformer 省 80% KV 缓存(10 条相关)→
「Infra」频道最新
- Ben Bajarin:看内存别再套历史周期,AI 已抬升需求底部 — BenBajarin · 2026-10-13
- NVIDIA 携思科推出 USFP 光模块:单通道 400Gb/s,带宽密度 4 倍 — BenBajarin · 2026-10-13
- 机器人研究也要堆算力:一项工作用掉 64 块 H200 引热议 — chris_j_paxton · 2026-10-13
- 美国算力不够用? Foreign Policy 建议盟友托管数据中心换前沿 AI — abhiadesai · 2026-10-13
- 华为徐直军:昇腾国内份额已超英伟达,25.6万卡超节点部署中 — pstAsiatech · 2026-10-13
- CoreWeave 推出模型蒸馏预览:用生产数据训练小模型替代高价前沿模型 — altryne · 2026-10-12