图解 PagedAttention：像操作系统虚存一样管理 KV cache
NielsRogge · x · 2026-11-10
Papers with Code 科普 vLLM 背后的核心思想 PagedAttention：把 KV cache 当作操作系统的虚拟内存来管理。
- 每个序列的 cache 切成固定大小的 block，可分散存放在 GPU 显存任意位置，而非按最大长度预留连续缓冲
- 好处：减少显存浪费、消除外部碎片、内部碎片只剩序列最后一个 block、按需分配，且并行采样/beam search 候选/共享前缀的请求可通过写时复制共享 block
- 基于 PagedAttention 的 vLLM 在同等延迟下吞吐量较 FasterTransformer 和 Orca 提升 2-4 倍，这一分页思路现已成为 LLM 推理引擎的标配
- Papers with Code 上已有 210 篇论文使用该方法
「Infra」频道最新
- 开源 OKC 挑战赛 H200 内核:第 99 名公开 5 个内核与提速数据 — abhijithneil · 2026-11-10
- 论文实证：on-policy distillation 可容忍量化推理与异步 rollout 的训练-推理失配 — Cong Yu · 2026-11-10
- Seroter 每日阅读清单：新 TPU、Claude 新模型降价 20% 与产品经理的未来 — rseroter · 2026-11-10
- 美能源部投 1150 万美元建电网基础模型，目标提速千倍 — ingliguori · 2026-11-10
- NVIDIA 开源 Molt RL 框架：一个 Python 文件即可接入环境与奖励 — algo_diver · 2026-11-10
- fal 与微软合作，Kling/LTX/MiniMax 视频模型入驻 Azure Foundry — gorkem · 2026-11-10