vLLM 联合发布 DSpark 草稿模型,加速 Kimi K3.1 Pro 推理

vLLM 与 Inferact、Red Hat AI Speculators 团队联合开发的 DSpark 投机解码草稿模型正式发布,面向 Kimi K3.1 Pro。该草稿模型参数量约 2.5B,官方公布了权重与即用的 vLLM 配置(已在 Hugging Face 上线),实测 GSM8K 接受长度达 5.57,接受长度最高可提升 30%,且 draft KV 有界,可显著加速推理。

2026-11-18 ~ 2026-11-19 · 3 条相关

另有 1 条近重复转述:AccBalanced