NVIDIA 发布投机解码 draft,令 27B 模型 token 接受率提升 46%
_akhaliq · x · 2026-11-18
NVIDIA 在 Hugging Face 上发布了针对 Qwen3.8-27B 的投机解码 draft 模型(4B 参数)。该 draft 模型相比模型内置的 drafting head,可将 token 接受率提升 46%,用于加速大模型的推理生成。这是官方提供的投机解码加速方案,对自部署推理场景有直接参考价值。
「Infra」频道最新
- 被称『中国 AI 最黑暗时刻』:算力与蒸馏双重承压 — trevposts · 2026-11-18
- Lambda 部署 NVIDIA 光电共封装交换机:延迟降 10%、可靠性提升 15 倍 — TheZachMueller · 2026-11-18
- Zyphra 将次二次注意力 ZHA 扩到万亿参数开源模型,长上下文提速 9-60 倍 — realmrfakename · 2026-11-18
- Perplexity 发布 Orchestrator API:一个接口路由 45+ 模型统一计费 — perplexity_ai · 2026-11-18
- Replit 用智能体蜂群复刻 8.37 万美元/年监控平台,开源 DataCat — amasad · 2026-11-18
- Google Cloud 将改用阈值计费,月中也会自动扣款 — CtrlAltDwayne · 2026-11-18