vLLM 机架级共享 KV 池：高并发下命中率仍达 96.5-97%

vllm_project · x · 2026-11-13

vLLM 团队介绍在 NVIDIA Vera Rubin 上的推理优化：单机架并发会话数大增，活跃前缀超出任何单 rank 缓存容量，因此将整个机架的内存池化——用 Mooncake 统一 KV 池覆盖所有 tray 的 DRAM 与空闲 HBM，Engram 表分片存于 GPU HBM 并经 NVLink 读取，即使极高并发下命中率仍保持 96.5-97%，接近理论上限。

由于会话不再绑定固定 rank，Dynamo 路由器把每个请求发给负载最低的节点：TTFT P90 从 0.98 秒降至 0.38 秒。作者还针对 Rubin 重写了 MoE、attention、GEMM 等 kernel，DEP2 prefill 提速约 28%、decode 提速约 25%。