vLLM 在 AMD 上跑出吞吐提升

vLLM Blog · rss · 2026-07-13

vLLM 博客介绍了在 AMD Instinct GPU 上用 vLLM + AMD Quark 训练、量化并部署 EAGLE-3 speculative decoding draft 模型的方法。

核心结果是：这种组合在推理吞吐上带来明显提升，文中给出的数字包括：

• Kimi-K2.5：最高 2.00x 吞吐提升
• MiniMax-M2.5：最高 1.79x 吞吐提升

文章重点不是模型本身，而是如何把 speculative decoding、量化和 serving 栈结合起来，在 AMD 这条硬件路径上获得更高的服务效率。

原文链接 →

「Infra」频道最新

• RTX 5090 卖到 7000 美元，PC 游戏社区集体否认 AI 热潮 — PAstynome · 2026-10-27
• Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27
• Wan2GP AMD 版一键安装上线，6GB 显存即可跑 AI 视频生成 — cocktailpeanut · 2026-10-27
• AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27
• 6 个月被抢超 1 亿美元：盗贼用 GPS 欺骗劫走数据中心货物 — Ars Technica AI · 2026-10-27
• Lam Research：18 个月内周均 token 用量暴涨约 250 倍 — Beth_Kindig · 2026-10-27

更多「Infra」频道 AI 资讯 →