vLLM 前后拆分，TileRT 接管 decode
vllm_project · x · 2026-07-15
vLLM 团队介绍了一个具体案例：把 vLLM 的 prefill 和 TileRT 的 decode 解耦后，decode 侧可以按工作负载插拔和替换。
关键点
- TileRT 团队已经通过 vLLM V1 的 connector interface 接入，无需改 vLLM 代码。
- 默认仍然用 vLLM 的 decode 以保证吞吐；如果场景更看重低延迟，例如 agents 或实时助手，可以切到 TileRT decode。
- 两边都保持同样的 OpenAI-compatible 接口、prefix caching，切换本质上只是路由变化。
性能数据
- TileRT 报告在 GLM-5.1-FP8 上，使用 8× B200 + MTP 时，单用户 decode 约 618 tok/s。
- 这大约是其不使用 MTP 基线的 2 倍。
- 在峰值接受率下，速度接近 800 tok/s。
作者感谢 TileRT 与 inferact 的合作。
所属事件:vLLM与TileRT推出解耦模块化推理栈(3 条相关)→
「Infra」频道最新
- 同一套 DeepSeek 内核两种优化路线：vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27
- Flint 本地实测：质量与 Qwen3.6 打平，速度快 3.6 倍 — RichardSocher · 2026-10-27
- Anthropic S-1 披露：CSP 渠道收入占比三年从 11% 涨至 48% — AccBalanced · 2026-10-27
- Alchemy 支持 Effect Workflow:跨 Durable Objects、Workflows 与 Lambda 持久函数 — samgoodwin89 · 2026-10-27
- Alchemy 推出 Lambda Web Functions,Node 版 Web 服务器直接上 Lambda — samgoodwin89 · 2026-10-27
- profiling 实测：Alchemy Cloudflare 绑定 CPU 时间最多降 166 倍 — samgoodwin89 · 2026-10-27