实测:MTP在MoE模型上无效?Qwen3.8 27B速度翻倍但35B无提升

chibop1 · reddit · 2026-08-16

Reddit用户测试了OMLX上的Lightning MTP功能,发现对Qwen3.8 27B(dense模型)有约2倍加速,但对Qwen3.6 35B(MoE模型)几乎没有影响。帖子提供了详细的基准测试数据,包括TTFT、TPOT、吞吐量等,并询问MTP是否不适用于MoE架构。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →