实测 DFlash 2 投机解码：真实编码提速 2.26 倍，叠加 n-gram 达 4.68 倍
FantasticNature7590 · reddit · 2026-08-23
作者花 3 天在 llama.cpp(PR #27342)上把 Inco AI 的 DFlash 2 投机解码与 MTP、n-gram 查找等全部投机方案在 Qwen 3.8 27B 上对比(单卡 RTX PRO 6000,并发 1):
- DFlash 2 单独：100 道真实 LiveCodeBench 题上 67.97→153.91 tok/s(2.26 倍)，token 延迟 14.27→6.02ms,自然停止无强制；显存代价仅 +2.7GB。同宽度下优于 DFlash 1 的 2.00 倍，显存约为其一半。
- DFlash 2 + 单个 n-gram 表(k4v):18 轮编码会话的构建阶段达 4.68 倍(65.1→304.9 tok/s);但再加第二个表反而降到 3.77 倍——与 7 月 DFlash 1 时代双表最优的结论相反。
- 参数坑:推荐值 --spec-draft-n-max 7 已过峰值，取 5 在 8K 编码 prompt 上再多约 11%,且 7 是硬上限会被静默截断;--spec-draft-p-min 在 DFlash 2 路径中根本未被读取;合成基准 +52% 是 harness 退化假象，n-gram 在散文上反而 -30%。
- 可复现性：给出目标模型/drafter 量化与版本、冷却与防降频措施等完整配置，并诚实指出跨代对比并非严格 A/B。
所属事件:Qwen 3.8 27B 实测 DFlash2 性能表现优异(2 条相关)→
「Infra」频道最新
- 黄仁勋做客 BG2 播客:谈 AI 收入能否撑起 Capex 与 2027 瓶颈 — elonmusk · 2026-10-16
- Mistral 本地推理基建机架曝光:DGX Spark、Mac Studio 等混搭 — gregmushen · 2026-10-16
- 英伟达携手瑞典 Wallenberg，Launch 共享 AI 超算 Sferical One — nvidia · 2026-10-16
- 基础设施下一站:能自我进化、自我验证的自适应系统 — _shreya_s · 2026-10-16
- 小米 MiMo RL 训练曝光:30 步花掉 347 万美元 — bycloud · 2026-10-16
- Cerebras 用异构 prefill 池喂晶圆级引擎，解码速度与 batch 解耦 — ai · 2026-10-16