一图看懂数据并行、张量并行与流水线并行
社区围绕 GPU 并行策略展开讨论,有人引用 UvA DL Notebooks 教程对三种常见并行方式给出简明解释:数据并行(DP)让每张 GPU 拿不同 mini-batch 共用同一完整模型;张量并行(TP)切分模型本身;流水线并行(PP)按深度把权重分到多卡,gpu0 处理完一个 batch 再传给下一卡,并由此引出流水线气泡从何而来的讲解。
2026-11-19 ~ 2026-11-19 · 2 条相关
- 一张图讲清数据并行 vs 张量并行 vs 流水线并行 — SeunghyunSEO7 · 2026-11-19
- 一张图讲清 PP/DP/TP 三种并行:GPU 间流水线与气泡从哪来 — SeunghyunSEO7 · 2026-11-19