8×B300 实测:对齐 rank 间 prefill 后,P/D 分离并非 LLM 推理银弹
kbesplv · reddit · 2026-10-29
warmctl.io 发布的实测文章挑战「prefill/decode 分离(P/D disagg)总是更优」的假设。
实验设置:单节点 8×B300,vLLM nightly,DeepSeek-V4.1-Flash,专家并行(DEP8)+chunked prefill;1792 个 8K prompt 的解码请求,叠加 Poisson 流量的冷 8K prefill。用 U+V 评分(共享池相对两个完美负载的独立池的效率,1.0 即无损)。
关键发现
- expert parallelism 下,单个 rank 做 prefill 会拖慢全部 8 个 GPU:吞吐从 18.7 降到 14.1 steps/s——ranks 在每个 MoE 层同步等待。
- 即使仅 8 prompts/s 的 prefill 流量,U+V 也跌到 0.84。
- 把 prefill 按 8 个一组对齐到各 rank,U+V 回到 1.00;agent 场景(64K 缓存+4K 新 token)下 0.94–0.96 vs 逐条发送的 0.77–0.81。
- vLLM 的 --prefill-schedule-interval 服务端可部分实现:间隔 8 在普通流上挽回 78% 损失(+22% 输出 token),代价是中位 TTFT +370ms。
- 单 GPU 上 co-location 从未跑赢 P/D,各阶段只是轮流执行而非重叠。
结论:同一 GPU 型号上拆分 prefill/decode 不会更便宜;P/D 仍在机架规模、两阶段异构硬件、或严格 ITL SLO 下占优。局限:仅一个模型、一个引擎、一个节点,未测真实 KV 迁移的 P/D。
「Infra」频道最新
- 数据中心自建燃气电厂地图上线，四座紧邻达拉斯臭氧超标区 — AINowInstitute · 2026-10-29
- GitHub 月提交量破 73.8 亿,agent 代码洪流倒逼架构重造 — rohanpaul_ai · 2026-10-29
- 单用户也要并发:Mac 内存带宽强但批处理算力不敌 DGX Spark — QuixiAI · 2026-10-29
- ComfyUI 工作流复现:光存 JSON 不够,还要记录这些 — Im_bored_rn69 · 2026-10-29
- Akamai 推出 Inference 与 Agent Sandbox 两项 AI 基础设施服务 — lucaolivari · 2026-10-29
- Cloudflare Q3 报告：DDoS 每小时 8200 起，短促攻击暴增 208% — Cloudflare Blog · 2026-10-29