vLLM 为 2.8T 参数 Kimi K3 训练 DSpark,推理提速至 435 tok/s
AccBalanced · x · 2026-09-18
vLLM 团队发文介绍如何为月之暗面 2.8T 参数的 Kimi K3 训练 DSpark 投机解码器(基于 DeepSeek 的 DFlash 块级投机算法扩展),并开源。
核心结果:
- 数学推理单流交互性从 110 提升到 435 tokens/s/用户;
- 并发负载下,在同等交互性时输出吞吐最高提升 3.5 倍;
- 起草模型为 5B,每步提出 8 个 token,数学任务上平均每轮接受 6.4 个。
训练难点与做法:为如此大的模型训练 drafter 需要多节点——用 Speculators 训练库加上新的 Mooncake connector,通过 RDMA 在 vLLM 推理与训练之间流式传输 hidden states;用两台 GB300 NVL72 节点跑目标模型,一台用于训练 drafter。
该实现已被验证可迁移到 Qwen3.6-35B-A3B、Gemma-4-31B-it、GLM-5.2 等模型,以 Hugging Face 兼容格式打包,vLLM 可直接加载。
「Infra」频道最新
- S3 数据库并不慢：内存+NVMe 缓存摊薄成本，写延迟差距比想象小 — mgill25 · 2026-11-04
- 开源 gpu-unlock 项目让 GeForce AI 推理提速最高 2 倍 — paranoidray · 2026-11-04
- 这 10 篇 GPU 优化论文决定了今天模型跑得多快 — NandoDF · 2026-11-04
- 用一句提示词让 AI 排查跨区流量：迁移服务省掉跨大西洋延迟 — DanielLockyer · 2026-11-04
- SurrealDB 4 发布：多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04