vLLM 实测五种推测解码:没有万能赢家

vLLM 团队发布博客,深入对比 MTP、EAGLE-3、DFlash、DSpark 等五种推测解码(投机解码)方法在 AMD Instinct MI300X 和 MI355X 显卡上的性能。核心结论是没有通用的最优方案,最佳选择取决于模型与工作负载。有评论者分享实测体验,在 GH200 上测试 Qwen3.8-27B 时,DFlash2 在单流场景表现出色,印证了需按具体负载选择方法的结论。

2026-08-28 ~ 2026-08-30 · 3 条相关