vLLM 集成 TileRT,AMD 8×MI355X 跑 GLM-5.3 比 GB300 快 40%

vLLM 项目宣布与 AMD 团队合作，借助 TileRT 在 8×MI355X 上运行 GLM-5.3,于 SemiAnalysis AgentX 基准中把单用户解码速度推到 469 tok/s,较 GB300 FP4 快 40%。vLLM 博客同时详解了与 TileRT 的集成方式：通过分离式服务将计算密集的 prefill 与受内存带宽限制的 decode 解耦，这已成为规模化服务的标准做法，而分离后的 decode 侧可作为可插拔引擎替换，适配延迟敏感场景。

2026-09-25 ~ 2026-09-25 · 2 条相关

• TileRT×AMD 在 8×MI355X 上跑 GLM-5.3 达 469 tok/s,比 GB300 FP4 快 40% — vllm_project · 2026-09-25
• vLLM×TileRT 集成详解:prefill/decode 分离,延迟敏感场景可插拔换解码引擎 — vllm_project · 2026-09-25