ResidualQuant 细节：共享 4-bit 锚点 + 2-bit 残差重建循环 KV 状态
sehoonkim418 · x · 2026-10-12
- 这是 ResidualQuant 方法的技术补充帖。核心洞察：Looped Transformer 各轮循环的 KV 状态高度相似，直接全部压到低比特会丢失信息，但先重建一轮、再存差异则残差中离群值更少，用极低比特就能表示。
- 具体做法（配图两步）：① 取最后一轮循环的 KV 作为共享锚点，从每轮 KV 中减去锚点得到残差；② 锚点以 INT4 共享存储，每轮残差仅用 INT2 存储，重建时相加即可恢复该轮 KV。
- 与前帖合计：保持 BF16 级精度，KV 存储省 80%，峰值解码吞吐 3-4 倍。
所属事件:KAIST 提出 ResidualQuant：2-bit 残差量化为循环 Transformer 省 80% KV 缓存(10 条相关)→
「Infra」频道最新
- Ben Bajarin:看内存别再套历史周期,AI 已抬升需求底部 — BenBajarin · 2026-10-13
- NVIDIA 携思科推出 USFP 光模块:单通道 400Gb/s,带宽密度 4 倍 — BenBajarin · 2026-10-13
- 机器人研究也要堆算力:一项工作用掉 64 块 H200 引热议 — chris_j_paxton · 2026-10-13
- 美国算力不够用? Foreign Policy 建议盟友托管数据中心换前沿 AI — abhiadesai · 2026-10-13
- 华为徐直军:昇腾国内份额已超英伟达,25.6万卡超节点部署中 — pstAsiatech · 2026-10-13
- CoreWeave 推出模型蒸馏预览:用生产数据训练小模型替代高价前沿模型 — altryne · 2026-10-12