vLLM原生支持Kimi加速方案
vllm_project · x · 2026-07-13
vLLM 和 novitalabs 在推动 Kimi 模型的 speculative decoding 生态。
- novitalabs 为 Kimi-K2.6 和 Kimi-K2.7-Code 训练并开源了 DSpark speculators。
- DSpark 是 DeepSeek 的一种 spec decoding 方法：一次可以先草拟一整个 token block，再由主模型校验，从而提高解码速度。
- vLLM 已在 v0.25.0 中原生支持这套方案，意味着可以直接接入加速推理。
- novita 给出的 batch size=1 评测显示：
- Kimi-K2.6 平均吞吐提升 2.55x（+155%）
- Kimi-K2.7-Code 平均吞吐提升 2.36x（+136%）
「Infra」频道最新
- 用 Sail 等价性证明与 riscv-coq 交叉验证 RISC-V 规范,发现真实 bug — xennygrimmato_ · 2026-10-27
- xAI Colossus 1 数据中心 FP64 算力约 14.6 exaflops,达 Top500 榜首 5 倍 — cis_female · 2026-10-27
- Lambda 实测 NVIDIA DSX MaxLPS：同等电力多跑 3 节点，吞吐提升 24% — TheZachMueller · 2026-10-27
- 新播客：Micron HBM 路线图、Meta AI 基建与 NVIDIA 供应链掌控 — BenBajarin · 2026-10-27
- SGLang MegaKernel+PD 发布：高并发吞吐与低延迟兼得，TCO 大幅优化 — AccBalanced · 2026-10-27
- 自托管 Convex 扩容实战：把 TypeScript 函数编译成 WASM — leventov · 2026-10-27