PagedAttention 把 KV Cache 当虚拟内存管理,大幅提升服务吞吐
goyalshaliniuk · x · 2026-11-20
goyalshaliniuk 的 KV Cache 优化系列第 1 讲,介绍 vLLM 的核心机制 PagedAttention。
- 传统内存分配在处理不同长度序列时浪费 GPU 显存
- PagedAttention 将 KV cache 划分为固定大小的小块,像虚拟内存一样按需动态分配
- 减少显存碎片,允许多个请求更高效地共享 GPU 内存
- 结果:同等显存能容纳更多并发请求,提升服务吞吐
文中链接了 vLLM 的 GitHub 仓库(97.2k stars,25.1k forks),该库源自 UC Berkeley Sky Computing Lab,现由 2000+ 贡献者维护。
所属事件:长推梳理 KV Cache 五大优化技法(3 条相关)→
「Infra」频道最新
- 量子计算瞄准 AI 工作负载,IBM 与 QuEra 公布容错路线图 — mikeflache · 2026-11-20
- 腾讯财报电话会:最新出口管制将加速中国半导体自给自足 — basedjensen · 2026-11-20
- Chorus 论文:共享 n-gram 嵌入表缩小 87%,性能反超 DeepSeek Engram — brown2green · 2026-11-20
- 内存仅 20MB 的浏览器 IDE px0 发布,作者谈如何逐层做减法 — arpit_bhayani · 2026-11-20
- 清昴智能发起昇腾 950DT 万卡级 Token 工厂,算力利用率从 40% 提至 80% — 量子位 · 2026-11-20
- SenseNova-Loop 9B 在 8GB 显存跑通,推理 token 省一半 — R_Duncan · 2026-11-20