vLLM 推出 push 模式 KV 传输，TTFT 最高提升 3 倍
AWS ML Blog · rss · 2026-10-20
AWS ML Blog 介绍其为 vLLM 贡献的 push-based NIXL 连接器，优化 P-D 分离推理中的 KV cache 传输。
- 问题：默认 pull 模式中，decode 实例要在 prefill 完成后串行完成路由元数据中继、目标块分配、NIXL READ 拉取，这些步骤全在 TTFT 关键路径上
- 设计：decode 侧在分配块时预先注册目标位置；prefill 侧在后台线程完成连接建立、描述符准备和 NIXL WRITE 推送，使传输协调完全脱离 decode 主循环；通过 rendezvous 机制处理注册与 prefill 完成的任意到达顺序，并正确匹配重发请求；支持两侧不同 block 布局
- 结果：在 EFA 连接的 P5en 实例 1P1D 部署上，Qwen3-32B 的 TTFT 最高改善 3 倍、TPOT 改善最多 30%
- 该特性先在 Trainium 集群验证，已作为加速器无关功能贡献回 vLLM 上游
「Infra」频道最新
- OpenJet 引擎宣称 Qwen3.8-27B 推理速度达 llama.cpp 1.9 倍 — JeremyCMorgan · 2026-10-23
- 黄仁勋拆解 NVIDIA Vera Rubin 智能体系统四大组件 — rohanpaul_ai · 2026-10-23
- Transformers.js 一条龙：ONNX 模型直接跑进浏览器 — JosephJacks_ · 2026-10-23
- MiniMax M3.1 Flash 在 0G 平台限时免费 3 天,1M 上下文随便跑 — MiniMax_AI · 2026-10-23
- 「押注 Cloudflare 拿到十亿级规模」：R2 与 D1 的老兵回忆杀 — dinasaur_404 · 2026-10-23
- 公开数据日渐枯竭，私有数据交易正在变成目录式电商 — SucceededMind · 2026-10-23