DSpark把推测解码推向生产
ziv_ravid · x · 2026-07-11
这条帖子认为 DeepSeek 的 DSpark 论文是一个很好的例子：它把 speculative decoding 从“算法小技巧”推进到了真正可落地的生产系统。
作者特别提到两点增量：
- 不只是“便宜地生成 draft、再由大模型验证”
- 还加入了 更好的长草稿生成，以及一个 面向服务的调度器，会决定草稿里哪些部分值得验证
作者另外写了深度解读，并邀请大家反馈。
所属事件:DeepSeek发布DSpark推理框架(3 条相关)→
「Infra」频道最新
- 全同态加密 GPT-2 速通赛开跑:现纪录 3.031 秒/token — tensorqt · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- Together 推出并行 LoRA 实验：多个实验共享同一批 GPU，免重复配置 — togethercompute · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27