vLLM 发布 Kimi K3.1 Pro 投机解码草稿模型,接受长度最高提升 30%
vllm_project · x · 2026-11-18
vLLM 项目宣布与 Inferact、Red Hat AI Speculators 团队联合开发的 DSpark 草稿模型(用于 Kimi K3.1 Pro 投机解码)正式版发布:
- HumanEval 上接受长度较 preview 版最高提升 30%,GSM8K 提升 21%,长上下文场景(95K-1M tokens)亦有 12%-24% 提升;
- 每个 draft 层采用 2K 滑动窗口注意力,即使在 1M token 上下文下草稿 KV 显存也保持有界;
- 权重与 vLLM 配置已在 Hugging Face 开放,vLLM 新的 KV 管理支持 P/D 分离与多种并行配置,可将滑动窗口草稿模型投入生产。
「Infra」频道最新
- The Verge 深挖微软 Outlook 大规模宕机:原因与修复为何耗时 — tomwarren · 2026-11-18
- Kimi K3.1 Pro DSpark 细节:2.5B 草稿模型,GSM8K 接受长度 5.57 — vllm_project · 2026-11-18
- Wonderful 自研语音模型基于 Together AI,首句延迟仅 274ms — togethercompute · 2026-11-18
- Anthropic S-1 揭示仅 25% 算力用于推理,投资人直呼看空 — toptickcrypto · 2026-11-18
- LanceDB 融资 5750 万美元 B 轮,瞄准 AI 时代的多模态数据栈 — pzakin · 2026-11-18
- Multi-Branch Transformer:并行分支扩展 LLM,同损失省 1.26 倍算力 — KyeGomezB · 2026-11-18