vLLM 在 AMD 上跑出吞吐提升
vLLM Blog · rss · 2026-07-13
vLLM 博客介绍了在 **AMD Instinct GPU** 上用 **vLLM + AMD Quark** 训练、量化并部署 **EAGLE-3 speculative decoding** draft 模型的方法。 核心结果是：这种组合在推理吞吐上带来明显提升，文中给出的数字包括： - **Kimi-K2.5：最高 2.00x 吞吐提升** - **MiniMax-M2.5：最高 1.79x 吞吐提升** 文章重点不是模型本身，而是如何把 speculative decoding、量化和 serving 栈结合起来，在 AMD 这条硬件路径上获得更高的服务效率。