Qwen3.6-27B 投机解码实测：DFlash 最快，最高提速 4.6 倍

thavoc77 · reddit · 2026-07-21

对 Qwen3.6-27B（dense、NVFP4）在单张 RTX PRO 6000 Max-Q 上的 speculative decoding 做了系统基准测试，横跨 vLLM 和 SGLang，方法包括 MTP / NEXTN、DFlash、EAGLE3、ngram，并保证同一客户端、每点 3 次重启采样以便可比。

主要结果

• DFlash 明显最好：SGLang 上约 3.3x，vLLM 上约 2.5x，在 math reasoning 子集上最高到 4.6x。
• MTP / NEXTN 大约 2.2x–2.8x，draft depth 越深速度提升越明显。
• EAGLE3 最高约 1.9x，在 K=3 之后基本不再提升。
• ngram 收益很小，只有 1.1x–1.3x。

工程踩坑

• EAGLE3 在 vLLM 上直接无法加载，hfhub 的 headdim 校验会报错；只能在 SGLang 上跑，还需要打补丁版本。
• DFlash 在 SGLang 里一开始首 token 就崩，因为 sampler 对 lmhead 做了原始 matmul，而该 checkpoint 是 NVFP4 量化；把 head 先反量化即可。
• 另外还需要限制 max-running-requests，否则 mamba/GDN cache 会 OOM。

原文链接 →

「Infra」频道最新

• 分析师：蚂蚁是当前工作负载最具弹性可置换的模型厂商 — BenBajarin · 2026-10-26
• Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
• 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
• 多州暂停新建数据中心，72% 美国人反对建在家门口 — YvesMulkers · 2026-10-26
• 500 万美元种子轮不够 DeepSeek 训一遍:没 GPU 的 AI 创业只剩三条路 — FinanceYF5 · 2026-10-26
• HBM 需求转向:低端推理砍单,Rubin 将全系 12-high HBM — BenBajarin · 2026-10-26

更多「Infra」频道 AI 资讯 →