vLLM 推出推式 KV 传输,经 RDMA 直写显著改善分离式推理时延
vLLM Blog · rss · 2026-10-14
vLLM 博客介绍了面向分离式(disaggregated)推理的推式 NIXL 连接器:prefill 实例通过 RDMA 将 KV cache 直接写入 decode 实例内存。
核心改进:
- 绕过 router 中继,省去 decode 侧显存分配与传输建立环节
- 将这些开销从 TTFT(首 token 时延)关键路径上移除
- 同时改善 TTFT 与 TPOT(每 token 生成时延)
这是推理服务栈层面的优化实践,对大规模部署分离式 prefill/decode 架构的团队有直接参考价值。
「Infra」频道最新
- SpaceX 拟接入 8 万座美国基站，博彩市场给了 29% 成运营商概率 — Polymarket · 2026-10-23
- Modular 宣布 MAX 框架开源：AI 计算不应被单一芯片厂商锁定 — clattner_llvm · 2026-10-23
- Modular 开放 MAX 源码，要做「AI 界的 LLVM」打破芯片锁定 — clattner_llvm · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- Perplexity 联手 AMD 推便携 AI 主机，本地跑 27B 模型做实时研究 — AravSrinivas · 2026-10-23