Gemma 4 在双3090上启用MTP反而变慢
DjCanalex · reddit · 2026-07-19
作者在双 RTX 3090 和单 RTX 3090 上测试 **Gemma 4 31B QAT** 的 MTP（draft/多 token 预测）效果，结论是：**双卡环境下反而变慢**。 ### 观察到的结果 - 双 3090：不开 MTP 时约 **39.7 t/s**，开启后降到 **27–34 t/s** 波动 - 单 3090：不开 MTP 时约 **33 t/s**，开启后能升到 **45 t/s**，随后逐步回落到 **36–37 t/s** ### 额外日志 - 双卡场景下 draft acceptance 约 **0.56**，mean len 约 **2.22** - 单卡场景下 draft acceptance 约 **0.56**，mean len 约 **2.29** 作者贴出了两种配置的输出日志，并给出自己的 llama-server 启动命令，想确认为什么多卡时 MTP 的表现和单卡相反。