vLLM 双向 KV 传输上线：多轮 Agent 场景 TTFT 最高改善 3.3 倍

AWS ML Blog · rss · 2026-10-20

AWS ML Blog 介绍为 vLLM 贡献的双向 KV cache 传输，解决多轮对话与 Agent 工作负载中上下文重复计算问题。

问题：传统 P-D 分离只单向传输 KV（prefill→decode）。多轮场景下 decode 持有的历史响应 KV 无法被 prefill 复用，导致每轮重算响应 token 的 KV 投影；全量 cache miss 时 prefill 需重算整个对话历史，随对话变长 TTFT 恶化、算力浪费加剧
设计：扩展 NIXL 连接器支持 D→P 方向读取；decode 侧对生成的 KV 块按 TTL（默认 480 秒，不可续期）保留并发布元数据；KV-cache-aware 路由器按 conversationid 缓存块位置元数据；kvrecomputethreshold（默认 64 token）决定前缀复用还是本地重算
结果：EFA 连接的 P5en 1P1D 部署上，多轮基准中 Qwen3-32B TTFT 降低最高 1.6 倍，GLM-5-FP8 最高 3.3 倍
同样先在 Trainium 上构建验证，已作为加速器无关功能贡献至 vLLM

「Infra」频道最新