ResidualQuant:2比特KV压缩,MATH500准确率从27.8%升至76%
sehoonkim418 · x · 2026-10-12
研究者提出 ResidualQuant,一种 KV cache 2 比特量化方法,核心思路是"共享模式、只存差异":用循环网络的最后一个 loop 作为共享锚点,每个 loop 减去锚点得到残差,仅用 2 比特存储;重建时读回锚点加残差即可。
为保住精度,方法组合了残差量化、缩放、旋转和逐 loop 混合精度等多项技术。
关键结果:
- 精度:Ouro-1.4B 的 MATH500 上,直接 INT2 量化准确率 27.8%,ResidualQuant 达 76.0%,超过此前 SOTA OptR-H(43.25%/47.17%),同时 KV 内存比 BF16 少 80.7%。
- 吞吐:在 RTX 5090 上,Ouro-1.4B 峰值解码吞吐相对 BF16 提升 3.27×(8K 上下文)和 4.15×(16K),批处理容量最多提升 4×。
所属事件:KAIST 提出 ResidualQuant：2-bit 残差量化为循环 Transformer 省 80% KV 缓存(10 条相关)→
「Infra」频道最新
- Ben Bajarin:看内存别再套历史周期,AI 已抬升需求底部 — BenBajarin · 2026-10-13
- NVIDIA 携思科推出 USFP 光模块:单通道 400Gb/s,带宽密度 4 倍 — BenBajarin · 2026-10-13
- 机器人研究也要堆算力:一项工作用掉 64 块 H200 引热议 — chris_j_paxton · 2026-10-13
- 美国算力不够用? Foreign Policy 建议盟友托管数据中心换前沿 AI — abhiadesai · 2026-10-13
- 华为徐直军:昇腾国内份额已超英伟达,25.6万卡超节点部署中 — pstAsiatech · 2026-10-13
- CoreWeave 推出模型蒸馏预览:用生产数据训练小模型替代高价前沿模型 — altryne · 2026-10-12