推测解码草稿模型横评:AngelSpec DFly 领先 EAGLE-3 系
maxsloef · x · 2026-11-12
作者更新了推测解码草稿模型(drafter)对比的 artifact 与仓库,附基准表格:在 thinking 关闭时,AngelSpec DFly 的 top-1 首 token 预测准确率 0.821、平均正确 token 数 3.46,均高于自家 MTP block(0.779/2.79)和各版 EAGLE-3(WhiFlash 0.750/2.47、Tengyunw 0.716/2.04、RedHatAI 0.671/1.63、AngelSlim 0.579/1.23);开启 thinking 后所有 drafter 收益下降,但 DFly(0.769/2.56)仍居首。作者还指出某 DFly 版本不适用于部分镜头场景,新 MTP 方案仍优于其他选择。
所属事件:Qwen3-8B推测解码草稿模型横评结果出炉(2 条相关)→
「Infra」频道最新
- 工具调用成本差异悬殊:Qwen3.8 Max 带工具贵 28 倍,Fable 贵 5.8 倍 — ArtificialAnlys · 2026-11-12
- 网友自组 AMD CPU + 华为昇腾 950PR 混合推理主机 — AIFlow_ML · 2026-11-12
- Meta Llama3 训练 419 次中断中 6 次源于静默数据损坏,AWS 给出三重检测法 — AWS ML Blog · 2026-11-12
- 黄仁勋去职不是大事，AI四层单点故障才是真隐患 — krishnan · 2026-11-12
- 研究：数据中心仅占美国家庭电价涨幅 4%，参议员仍呼吁全国禁建 — Eliv_nurotic · 2026-11-12
- vLLM 首日支持 MiniMax-M3.1-Flash,Rubin NVL72 吞吐提升 10.2 倍 — vllm_project · 2026-11-12