NVIDIA 发布草稿模型加速 27B 模型投机解码

NVIDIA 在 Hugging Face 上发布基于 Model Optimizer 训练的 Qwen3.5-4B 草稿模型,专为 Qwen3.8-27B 的投机解码加速服务。该 4B 参数 draft 模型相比模型内置的 drafting 方案,可将 27B 模型的 token 接受率提升 46%,上线后迅速登上 Hugging Face 趋势榜。

2026-11-18 ~ 2026-11-19 · 2 条相关