vLLM P/D 原型实测:12×GB300 上前缀命中率 91.24%
vllm_project · x · 2026-10-15
vLLM 项目公布 P/D(prefill/decode 分离)原型在 12 张 GB300 上的预发布实测结果,架构为 DEP4 prefill 连接 DEP8 decode,采用 FP8、NIXL 传输和 384 GiB 的 MooncakeStore 缓存。
关键数据:
- 记录 514,784 个前缀命中 token,前缀复用率 91.24%
- 两轮各 1,000 请求的 OCR 测试得分 90.4% 和 89.4%,零请求错误
- 架构路径:Prefill(TP1·DEP4)→ NIXL 传输 sparse state/KV → Decode(TP1·DEP8),缓存挂载在传输层
项目方明确说明这是 pre-release、pre-rebase 的测试版本,P/D 的 PR 仍在进行中,最终构建需另行验证,不代表最终发布版的验证结论。
所属事件:vLLM 公布 P/D 原型与 MTP3 实测结果(2 条相关)→
「Infra」频道最新
- NVIDIA 将亮相 SIGGRAPH Asia 2026，聚焦神经渲染与机器人 — tomaszbednarz · 2026-10-15
- Google TPUv7 首次参测:每美元性能达 GB300 NVL72 的 1.67 倍 — scaling01 · 2026-10-15
- 微软 MAI-Image-2.6 上架 Vercel AI Gateway，一个 Key 调两档模型 — lmoroney · 2026-10-15
- Inworld 开放推理服务:月处理数十万亿 token,按请求设定优先级 — thetripathi58 · 2026-10-15
- 16GB 内存何时能本地跑平 Opus?聊聊端侧 LLM 的现实距离 — bit_freak · 2026-10-15
- vLLM 实现Step 5 Preview日0支持：稀疏prefill延迟降2.2% — vllm_project · 2026-10-15