一张图讲清 PP/DP/TP 三种并行:GPU 间流水线与气泡从哪来
SeunghyunSEO7 · x · 2026-11-19
- 回应 @yacineMTB 关于推理后端并行的讨论,作者简要解释三种常见并行策略:
- PP(流水线并行):把模型权重按深度切分到多卡,gpu0 处理完一个 batch 后通过 P2P 发给 gpu1,本质与其他后端任务中的流水线相同,部分 GPU 需等待上游数据,存在气泡(bubble)。
- DP(数据并行):切分 batch,每张 GPU 用完整权重处理不同 mini-batch。
- TP(张量并行):每张 GPU 处理同一 batch,但只持有部分权重,各自完成部分计算后再跨卡合并。
所属事件:一图看懂数据并行、张量并行与流水线并行(2 条相关)→
「Infra」频道最新
- AMD ROCm 10.2 发布:新增 18 款 Ryzen 笔记本本地 AI 支持并升级 vLLM/SGLang — AnushElangovan · 2026-11-19
- 消费级 NAND 现货价单月暴跌 20%,SSD 市场现缓解迹象 — SumitGup · 2026-11-19
- The Information 曝光:Nvidia 员工曾建议阿里借东南亚公司租用 A100 芯片 — basedjensen · 2026-11-19
- CriticNPU:机制化评估器让 NPU 设计空间探索模拟调用减半 — Yicheng He · 2026-11-19
- Tideway:统一内存池管理,消费级设备跑大 MoE 模型延迟降半 — DukeUniversity · 2026-11-19
- Qwen3.8-27B 编码模型移植 MLX,M5 Max 最高 73 tok/s — yb2698 · 2026-11-19