ResidualQuant实测:RTX 5090上16K上下文解码吞吐提升4.15倍
sehoonkim418 · x · 2026-10-12
ResidualQuant 团队补充 KV cache 压缩的实际收益:压缩减少每请求内存流量并释放 GPU 显存,可同时服务更多请求。
在 RTX 5090 上运行 Ouro-1.4B,相对 BF16:
- 4K 上下文:峰值解码吞吐提升 2.52×,批处理容量 4×
- 8K 上下文:吞吐提升 3.27×,批处理容量 4×
- 16K 上下文:吞吐提升 4.15×,批处理容量 2×
上下文越长,压缩带来的吞吐收益越大。
所属事件:KAIST 提出 ResidualQuant：2-bit 残差量化为循环 Transformer 省 80% KV 缓存(10 条相关)→
「Infra」频道最新
- 美国数据中心最集中两县恰是全美最富两县，算力循环论引发争论 — gregmushen · 2026-10-12
- Cloudflare Logpush Transformers：导出前用 SQL 过滤与改写日志 — Cloudflare Blog · 2026-10-12
- 混合 GPU+CPU+NVMe 本地跑 DeepSeek,吞吐最高提升 21 倍 — HankYeomans · 2026-10-12
- Palo Alto Networks 收购 AI 网关 Portkey，卡位企业 AI 支出入口 — YvesMulkers · 2026-10-12
- Anthropic 算力版图再扩：IREN 等前比特币矿场成新供应商 — tengyanAI · 2026-10-12
- Cloudflare Workers 调 Gemini 偶报 400:根因是机房路由落在香港 — sujingshen · 2026-10-12