腾讯 DSpine 投机解码让 Qwen3.8-27B 推理提速 3 倍

腾讯混元与优图团队发布 DSpine 投机解码方案,配套的 5 层草稿模型一次前向可并行猜 16 个 token,突破传统 MTP 单层逐字猜测的瓶颈,将 Qwen3.8-27B 的加速效果从约 1.6 倍提升到 3 倍,实测吞吐达 805 tok/s,解码速度 94-132 tok/s,约为 DFlash2 的 1.75 倍。模型已在 HuggingFace 开源,开发者 ItsmeAjayKV 将其移植到 llama.cpp 并提供 GGUF 量化文件。

2026-11-09 ~ 2026-11-10 · 3 条相关