一图看懂数据并行、张量并行与流水线并行

社区围绕 GPU 并行策略展开讨论,有人引用 UvA DL Notebooks 教程对三种常见并行方式给出简明解释:数据并行(DP)让每张 GPU 拿不同 mini-batch 共用同一完整模型;张量并行(TP)切分模型本身;流水线并行(PP)按深度把权重分到多卡,gpu0 处理完一个 batch 再传给下一卡,并由此引出流水线气泡从何而来的讲解。

2026-11-19 ~ 2026-11-19 · 2 条相关