Qwen3-8B 推测解码草稿模型横评：WhiFlash 思考模式下 token 命中领先

maxsloef · x · 2026-11-12

一条讨论模型「注意力头」训练的推文串中，作者发现并汇总了多个针对 Qwen3-8B 的推测解码（speculative decoding）草稿模型。链接的 WhiFlash/Qwen3-8B-EAGLE3 由三星 AI 剑桥中心训练，基于 EAGLE-3、采用固定 32K 草稿词表，配合 SGLang 推理框架做无损推测解码，仅限研究用途（CC BY-NC-SA 4.0）。配图表格横向对比 WhiFlash、Tengyunw、RedHatAI、AngelSlim 四个草稿模型在 thinking off/on 两种模式下的 top-1 首草稿 token 命中率与平均正确运行长度：thinking off 时 WhiFlash 领先（0.750 / 2.47），thinking on 时 Tengyunw 最佳（0.711 / 1.96）。