vLLM P/D 分离原型:12×GB300 上前缀命中率 91.24%,OCR 两轮零错误
vllm_project · x · 2026-10-15
vLLM 公布 Step 5 Preview 的预填充-解码分离(P/D)原型测试:在 12×GB300 上用 FP8、NIXL 传输和 384 GiB 的 MooncakeStore 缓存,将 DEP4 prefill 连接到 DEP8 decode。单次运行记录到 514,784 个前缀命中 token(命中率 91.24%);两轮各 1000 请求的 OCR 测试得分 90.4% 和 89.4%,零请求错误。
该结果来自 pre-release、pre-rebase 的开放 PR 测试,P/D 的 PR 仍在进行中,最终版本需单独验证。
所属事件:vLLM Day-0 支持阶跃 Step 5 Preview：稀疏注意力与 MoE 全覆盖(12 条相关)→
「Infra」频道最新
- Perplexity 新 embedding 模型：大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑 — danielhanchen · 2026-10-15
- vLLM-Omni 联手 BFL 与 NVIDIA 上线 FLUX 3 Image Klein 当日支持 — vllm_project · 2026-10-15
- NVIDIA Nemotron 3.5 Super VL 上线 Applied Compute 平台训推 — ypatil125 · 2026-10-15
- CoreWeave 债券收益率破 16%,贷款期限比客户合同长约 2 年 — tengyanAI · 2026-10-15
- 算力租金才是 AGI 试金石：H100 时租涨不到 10 倍就别谈 AGI — corbtt · 2026-10-15