vLLM原生支持Kimi加速方案

vllm_project · x · 2026-07-13

vLLM 和 novita_labs 在推动 **Kimi 模型的 speculative decoding** 生态。 - novita_labs 为 **Kimi-K2.6** 和 **Kimi-K2.7-Code** 训练并开源了 DSpark speculators。 - DSpark 是 DeepSeek 的一种 spec decoding 方法：一次可以先草拟一整个 token block，再由主模型校验，从而提高解码速度。 - vLLM 已在 **v0.25.0** 中原生支持这套方案，意味着可以直接接入加速推理。 - novita 给出的 batch size=1 评测显示： - Kimi-K2.6 平均吞吐提升 **2.55x**（+155%） - Kimi-K2.7-Code 平均吞吐提升 **2.36x**（+136%）

原文链接 →