vLLM 接入 TileRT 做低延迟解码
vLLM Blog · rss · 2026-07-14
vLLM Blog 介绍了 **vLLM x TileRT** 的组合方案：把 **vLLM 的 prefill** 和 **TileRT 的 decode** 结合起来，形成一个面向低延迟场景的专用 decode 引擎。 ### 核心点 - 通过 **vLLM V1 的 connector interface** 接入 TileRT。 - 在同一个 serving layer 下共存：既保留 vLLM 原生 decode，又可以切到 TileRT 的特化 decode。 - 目标是让 **decode 阶段更低延迟**，而且 **不需要改 vLLM 本身**。 这本质上是在推理服务栈里做模块化优化：prefill 继续走 vLLM，decode 交给更适合延迟关键路径的引擎。