腾讯 DSpine 推测解码上线:27B 模型提速至 4.5 倍、90-125 tok/s

pmttyji · reddit · 2026-11-17

腾讯 DSpine(Draft in Parallel, Condition Through Depth)推测解码方案进入实用阶段:Qwen3.8-27B 的 DSpine b16 GGUF 已上架 Hugging Face(aj9o9、generalinference 两个仓库),模型卡含与 DFlash2 的对比。llama.cpp 官方 PR #31941 已开放。RTX 3090 24GB 实测:代码与数学任务约 125 tok/s(比无推测快 4.5 倍、比 DFlash2 快 2 倍),混合对话 90 tok/s(3.2 倍);15 drafted 时 24GB 最大上下文 64k(7 drafted 可到 98k)。深层上下文下仍保持优势:64k 时 35.5 tok/s vs 无推测 19.5。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →