llama.cpp 推测解码叠加实测提速6倍
FantasticNature7590 · reddit · 2026-07-17
作者在 llama.cpp 上测试了多种 speculative decoding 方案，针对 Qwen 3.6 27B 做了组合对比：MTP、DFlash、n-gram 以及它们叠加后的效果。结论是：
- 在单轮随机提示词上，n-gram 贡献不大；
- 在“反复编辑已有代码”的多轮场景里，n-gram 会明显放大 DFlash 的收益；
- 最好的结果是在 18 轮迭代编码任务里达到 321.5 vs 53.5 tok/s，约 6.01x；仅维护/改代码阶段可到 7.5x；
- 该方案几乎不额外占显存，lookup table 放在主机内存。
帖子还给出了测试设置：LiveCodeBench、MATH-500、不同上下文长度的综合压测，以及使用的硬件与 llama.cpp 构建参数。
「Infra」频道最新
- 分析师：蚂蚁是当前工作负载最具弹性可置换的模型厂商 — BenBajarin · 2026-10-26
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
- 多州暂停新建数据中心，72% 美国人反对建在家门口 — YvesMulkers · 2026-10-26
- 500 万美元种子轮不够 DeepSeek 训一遍:没 GPU 的 AI 创业只剩三条路 — FinanceYF5 · 2026-10-26
- HBM 需求转向:低端推理砍单,Rubin 将全系 12-high HBM — BenBajarin · 2026-10-26