腾讯 DSpine 投机解码让 Qwen3.8-27B 推理提速 3 倍
腾讯混元与优图团队发布 DSpine 投机解码方案,配套的 5 层草稿模型一次前向可并行猜 16 个 token,突破传统 MTP 单层逐字猜测的瓶颈,将 Qwen3.8-27B 的加速效果从约 1.6 倍提升到 3 倍,实测吞吐达 805 tok/s,解码速度 94-132 tok/s,约为 DFlash2 的 1.75 倍。模型已在 HuggingFace 开源,开发者 ItsmeAjayKV 将其移植到 llama.cpp 并提供 GGUF 量化文件。
2026-11-09 ~ 2026-11-10 · 3 条相关
- DSpine 让 Qwen3.8-27B 推理提速至 94-132 tok/s,超 DFlash2 约 1.75 倍 — pbaylies · 2026-11-09
- 腾讯 DSpine 草稿模型把 Qwen3.8-27B 投机解码提速至 3 倍 — karminski3 · 2026-11-10
- DSpine 拆解:5 层草稿模型一次前向并行猜 16 个 token — karminski3 · 2026-11-10