vLLM 发布 DSpark:Kimi K3.1 Pro 接受长度提升 30%,draft KV 有界
AccBalanced · x · 2026-11-19
vLLM 官方宣布与 Inferact 及 RedHat AI Speculators 团队联合开发的 DSpark,面向 Kimi K3.1 Pro 的推测解码 draft 模型:
- HumanEval 上接受长度较预览版最高提升 30%(DSpark k=7, temperature 1.0, topp 0.95)
- 每个 draft 层使用 2K 滑动窗口,即使 1M token 上下文也能保持 draft KV 内存有界
- 依托 vLLM 重设计的 KV 管理,支持 P/D 分离与多种并行配置,使滑动窗口 draft 模型可进入生产环境
主帖以「研究者又发明新 attention 机制折磨 infra 工程师」玩梗转发,实质内容在被引用的 vLLM 公告里。
所属事件:vLLM 联合发布 DSpark 草稿模型,加速 Kimi K3.1 Pro 推理(3 条相关)→
「Infra」频道最新
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19
- 腾讯被曝最少买国产芯片,转用日本 neocloud 训模型 — teortaxesTex · 2026-11-19