ResidualQuant 压缩 KV cache：RTX 5090 上解码吞吐最高提升 4.15 倍
sehoonkim418 · x · 2026-10-12
sehoonkim418 介绍团队论文成果 ResidualQuant——KV cache 压缩方法，核心逻辑是"更少字节、更快解码、更大 batch"：压缩 KV cache 降低每请求内存流量，并释放 GPU 显存以同时服务更多请求。
实测数据：在 Ouro-1.4B 模型、RTX 5090 上，相比 BF16，8K 上下文时峰值解码吞吐提升 3.27 倍，16K 上下文时提升 4.15 倍。作者同时祝贺项目负责人 heejunkim00 等合作者，这也是其实验室与学生的首篇论文。
所属事件:KAIST 提出 ResidualQuant：2-bit 残差量化为循环 Transformer 省 80% KV 缓存(10 条相关)→
「Infra」频道最新
- Ben Bajarin:看内存别再套历史周期,AI 已抬升需求底部 — BenBajarin · 2026-10-13
- NVIDIA 携思科推出 USFP 光模块:单通道 400Gb/s,带宽密度 4 倍 — BenBajarin · 2026-10-13
- 机器人研究也要堆算力:一项工作用掉 64 块 H200 引热议 — chris_j_paxton · 2026-10-13
- 美国算力不够用? Foreign Policy 建议盟友托管数据中心换前沿 AI — abhiadesai · 2026-10-13
- 华为徐直军:昇腾国内份额已超英伟达,25.6万卡超节点部署中 — pstAsiatech · 2026-10-13
- CoreWeave 推出模型蒸馏预览:用生产数据训练小模型替代高价前沿模型 — altryne · 2026-10-12