MTP 反而更慢?8GB 显卡跑 9B 模型实测吞吐减半引讨论

Aggravating-Push-207 · reddit · 2026-10-12

Reddit 用户尝试在最新 llama.cpp 上用 draft-MTP(多 token 预测)加速跑 Ornith 1.5 9B 的 GGUF 量化版,结果约 15 tok/s 生成、200 tok/s 预填充,反而不开 MTP 时快了一倍。奇怪的是 draft 接受率高达 0.95、平均接受长度 2.27,但 MTP 开启后显存带宽和 GPU 利用率都只有一半。作者用 8GB RTX 4060,怀疑是消费级显存受限下的调度或实现问题,帖子里附完整启动命令,适合懂 speculative decoding 的开发者讨论排查。