实测:Qwen3 27B 配 Dflash2,草稿模型用 Q4 量化提速最明显

milpster · reddit · 2026-10-27

Reddit 用户分享经验:使用 Qwen3 27B(Q38FN)配合 Dflash2(其场景下加 strata)做投机解码时,草稿模型不必用 Q8 或更高精度。作者让 agent 分别生成 F16、Q8、Q4 三档草稿模型,实测 Q4 带来的加速最大,接受率与高精度大致相当。结论是这类配置下应尝试更低的草稿模型量化。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →