DSpine 拆解:5 层草稿模型一次前向并行猜 16 个 token
karminski3 · x · 2026-11-10
作者详解 DSpine 为何能把 Qwen3.8-27B 推理提速 3 倍:
- 传统 MTP 的瓶颈:checkpoint 自带 1 层 MTP 模块,猜 1 个字再喂回去猜下一个,串行打草稿;SGLang 推荐每轮 3 步,加速约 1.6 倍,一轮最多验收 4 个 token
- DSpine 思路(祖师爷是 DFlash,借鉴扩散模型):5 层约 2B 参数的草稿模型一次前向「并行」填 15 个空(1 个已知锚点 + 15 个待猜),27B 主干一次验收 16 位,接受长度在 GSM8K 上可达 7.2
- 相邻因果注入:每层都通过门控把前一位置「正在预测的词」写入后一位置的计算,因果依赖沿网络深度逐层传递,5 层后信息传到位置 8,解决并行猜 15 个词缺乏因果关系、接受率低的问题
- 转移缓存:相邻两位置 16×16=256 种候选组合分数一次性并行算好,选词查表即可,无需重跑矩阵
- 腾讯实测 Agent 端到端加速:SWE-bench Pro 3.19x、τ²-bench 2.87x、WorkBuddy 系列最高 3.55x(对比 DFlash2)
所属事件:腾讯 DSpine 投机解码让 Qwen3.8-27B 推理提速 3 倍(3 条相关)→
「Infra」频道最新
- Tailscale OAuth apps GA:让 AI Agent 安全接入私有网内 MCP 服务器 — rudrank · 2026-11-10
- 博主给 AI agent 专配一台 Mac mini 当小家 — ow · 2026-11-10
- Revolut 优化后 AI 编码账单降 90%：256K 上下文够用 — alvelda · 2026-11-10
- 6-8 千加元预算跑本地大模型：M5 Ultra 96GB 还是自组大内存 PC？ — EfficientDivide1572 · 2026-11-10
- 业界热议 ASIC 时代来临:推理需求推动公司自研芯片 — ai · 2026-11-10
- 涉「中国间谍」公司两年购入近 50 亿美元 Nvidia 芯片 — AIFlow_ML · 2026-11-10