一个月冒出 5 个专用推理引擎,vLLM 核心成员驳「碎片化」质疑

AccBalanced · x · 2026-09-13

alexocheema 质疑最近一个月至少 5 个专用 LLM 推理引擎发布、生态碎片化是否有害,vLLM 核心开发者 Kaichao You 回应:推理引擎远不只是「在某硬件上跑模型」,而是一个生态——vLLM 位于模型、硬件与推理技术的交汇点,为用户提供统一接口,并持续支持未来数月的新模型与硬件。他表示过去 3 年见过大量声称局部超越 vLLM 的项目,最终要么技术被贡献回 vLLM,要么消失。被引用的 TileRT 项目基于 tile 的超低延迟推理运行时,已开源获 1.8k star,支持 GLM-5/5.1 与 DeepSeek-V3.2 的 PD 分离部署(vLLM prefill + TileRT decode),并与小米 MiMo 合作在 1T 模型上突破 1000 TPS。