vLLM Speculators v0.9.0 发布:投机解码训练快 2 倍、存储省一半
vllm_project · x · 2026-10-20
vLLM 项目发布 Speculators v0.9.0,大幅优化投机解码(speculative decoding)草稿模型的训练与部署:
- 融合损失核(fused loss kernel)让 1B 小模型的前向训练最多提速 2 倍
- FP8 隐状态后端将存储削减 50%,且不损失 speculator 质量
- Mooncake 连接器优化:通过 kvtransferparams 直接返回传输清单,简化张量打包
- 集成 torch.profiler 提供 GPU kernel 级剖析;新增吞吐量-交互性基准工具
- 新增 GLM 5.3 隐状态提取与 DFlash 2 严格候选选择支持;弃用 Python 3.10
训练好的 speculator 可直接在 vLLM 中服务。
「Infra」频道最新
- 新论文揭示内层优化器如何决定 DiLoCo 分布式训练的副本扩展 — kastnerkyle · 2026-10-20
- Together 推出后训练服务：RL 与 SFT 两种方式定制专属模型 — togethercompute · 2026-10-20
- 曝梁文锋本想自研算力芯片，被华为以产能稀缺说服合作 — teortaxesTex · 2026-10-20
- TwelveLabs Pegasus 1.5 上线 Bedrock：2小时视频转结构化时间戳 JSON — AWS ML Blog · 2026-10-20
- NVIDIA Ian Buck 谈 AI 工厂如何配合电网错峰调度算力 — nvidia · 2026-10-20
- p99 容器冷启动延迟降 63%,Cloud Run 服务日省 19 小时算力 — DanielLockyer · 2026-10-20