ResidualQuant 压缩 KV cache,解码吞吐最高提升 4.15 倍
sehoonkim418 · x · 2026-10-12
一项 KV cache 压缩工作 ResidualQuant 在 Ouro-1.4B 模型上实测（RTX 5090）：压缩 KV cache 降低每请求显存流量，同时释放 GPU 显存以并发服务更多请求。相比 BF16 基线，8K 上下文时峰值解码吞吐提升 3.27 倍，16K 上下文时提升 4.15 倍。由 Heejun Kim（项目负责人）、Junyoung Lee、Bill Cho、Dongsu Han、Insu Han 等合作完成，作者称这是其实验室与学生的首篇合作论文。
所属事件:KAIST 提出 ResidualQuant：2-bit 残差量化为循环 Transformer 省 80% KV 缓存(10 条相关)→
「Infra」频道最新
- 美国数据中心最集中两县恰是全美最富两县，算力循环论引发争论 — gregmushen · 2026-10-12
- Cloudflare Logpush Transformers：导出前用 SQL 过滤与改写日志 — Cloudflare Blog · 2026-10-12
- 混合 GPU+CPU+NVMe 本地跑 DeepSeek,吞吐最高提升 21 倍 — HankYeomans · 2026-10-12
- Palo Alto Networks 收购 AI 网关 Portkey，卡位企业 AI 支出入口 — YvesMulkers · 2026-10-12
- Anthropic 算力版图再扩：IREN 等前比特币矿场成新供应商 — tengyanAI · 2026-10-12
- Cloudflare Workers 调 Gemini 偶报 400:根因是机房路由落在香港 — sujingshen · 2026-10-12