腾讯开源 DSpine:并行投机解码接受长度提升 27.8%
pmttyji · reddit · 2026-11-07
腾讯发布并开源 DSpine,一种改进并行投机解码(speculative decoding)的草稿模型方法。
- 核心问题:并行起草的多个候选 token 相互独立,可能产生不一致的延续,缩短被接受的序列前缀;现有方法把条件解码放在骨干网络之后的轻量模块,前驱信息难以流动到后继位置。
- 方法:在骨干网络每一层通过门控相邻注入(gated adjacent injection)把前驱位置的预测特征写入后继位置,让因果条件链随网络深度展开,同时所有位置保持并行更新;并基于目标模型输出嵌入构建统一迁移空间,配合逐层输出嵌入监督。
- 结果:在数学、代码、对话共 7 个 benchmark 上,DSpine 在 Qwen3-4B 和 Qwen3-8B 上均取得最长接受长度。温度为 0 时,Qwen3-8B 七项平均接受长度从 DFlash 的 3.77 提升到 4.82(+27.8%);SGLang 服务测试中平均吞吐比 DFlash 高 23.3%。
- 已在 SGLang 中通过融合内核与过渡缓存高效并行执行,代码与模型已开源(arXiv/GitHub/HuggingFace 均可用)。
所属事件:腾讯开源 DSpine 投机解码草稿模型,27B 推理提速 3 倍(4 条相关)→
「Infra」频道最新
- 等电工不耐烦,直接从 Lambda 抓了几张 B200 当消遣 — TheZachMueller · 2026-11-09
- 谷歌推两款新 TPU 剑指英伟达,成本 reportedly 低约 30% — CurieuxExplorer · 2026-11-09
- NVIDIA 联手 Rebellions 与 SK 电讯打造韩国主权 AI 基础设施 — pstAsiatech · 2026-11-09
- DHH:Omarchy 4.6 让本地 AI 开箱即用，AMD 495 跑 Flash Next 表现惊艳 — AnushElangovan · 2026-11-09
- 谷歌发布第八代 TPU 四套系统,同步开源 TorchTPU 与 TPU Sync — rakyll · 2026-11-09
- 华为诺亚提出 LowRAM:注意力头内摊销 Value 实现 4 倍 KV 压缩 — Teresa Delgado · 2026-11-09