vLLM原生支持Kimi加速方案
vllm_project · x · 2026-07-13
vLLM 和 novitalabs 在推动 Kimi 模型的 speculative decoding 生态。
- novitalabs 为 Kimi-K2.6 和 Kimi-K2.7-Code 训练并开源了 DSpark speculators。
- DSpark 是 DeepSeek 的一种 spec decoding 方法：一次可以先草拟一整个 token block，再由主模型校验，从而提高解码速度。
- vLLM 已在 v0.25.0 中原生支持这套方案，意味着可以直接接入加速推理。
- novita 给出的 batch size=1 评测显示：
- Kimi-K2.6 平均吞吐提升 2.55x（+155%）
- Kimi-K2.7-Code 平均吞吐提升 2.36x（+136%）
「Infra」频道最新
- AI 消耗量分三波浪潮：2026 年 2 月 Agent 用量已超人类 — AccBalanced · 2026-09-11
- 英伟达已成主流 Robotaxi 栈核心：训练仿真车载计算全覆盖 — pdamodaran · 2026-09-11
- AI 工程师必懂的 12 种 KV Cache 压缩技术一文讲透 — blaizedsouza · 2026-09-11
- 影子算力市场走向台前,Meta 对外出售过剩 GPU 算力成标志性信号 — DavidLinthicum · 2026-09-11
- Engram 随机读取不适合 SSD，CPU 内存低延迟共享或成正解 — bookwormengr · 2026-09-11
- 劝退帖:推理工程是真金白银的硬活,八成尝鲜者已悄然放弃 — abhijithneil · 2026-09-11