NVIDIA 发布草稿模型加速 27B 模型投机解码
NVIDIA 在 Hugging Face 上发布基于 Model Optimizer 训练的 Qwen3.5-4B 草稿模型,专为 Qwen3.8-27B 的投机解码加速服务。该 4B 参数 draft 模型相比模型内置的 drafting 方案,可将 27B 模型的 token 接受率提升 46%,上线后迅速登上 Hugging Face 趋势榜。
2026-11-18 ~ 2026-11-19 · 2 条相关
- NVIDIA 发布投机解码 draft,令 27B 模型 token 接受率提升 46% — _akhaliq · 2026-11-18
- NVIDIA 发布 Qwen3.5-4B 草稿模型,为 Qwen3.8-27B 加速投机解码 — nvidia · 2026-11-19