llama.cpp 推测解码叠加实测提速6倍
FantasticNature7590 · reddit · 2026-07-17
作者在 **llama.cpp** 上测试了多种 speculative decoding 方案，针对 **Qwen 3.6 27B** 做了组合对比：`MTP`、`DFlash`、`n-gram` 以及它们叠加后的效果。结论是： - 在单轮随机提示词上，n-gram 贡献不大； - 在“反复编辑已有代码”的多轮场景里，n-gram 会明显放大 DFlash 的收益； - 最好的结果是在 18 轮迭代编码任务里达到 **321.5 vs 53.5 tok/s**，约 **6.01x**；仅维护/改代码阶段可到 **7.5x**； - 该方案几乎不额外占显存，lookup table 放在主机内存。 帖子还给出了测试设置：LiveCodeBench、MATH-500、不同上下文长度的综合压测，以及使用的硬件与 llama.cpp 构建参数。