NVIDIA 发布投机解码 draft,令 27B 模型 token 接受率提升 46%

_akhaliq · x · 2026-11-18

NVIDIA 在 Hugging Face 上发布了针对 Qwen3.8-27B 的投机解码 draft 模型(4B 参数)。该 draft 模型相比模型内置的 drafting head,可将 token 接受率提升 46%,用于加速大模型的推理生成。这是官方提供的投机解码加速方案,对自部署推理场景有直接参考价值。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →