一张图讲清数据并行 vs 张量并行 vs 流水线并行
SeunghyunSEO7 · x · 2026-11-19
有人问张量并行是什么,回答者引用 UvA DL Notebooks 的教程并给出简明解释:
- 数据并行(DP):每张 GPU 拿不同 mini-batch,用完整的同一份权重各自计算
- 张量并行(TP):所有 GPU 处理同一 batch,但各自持有部分权重做部分运算,再跨卡合并
配图将三种并行策略(含流水线并行)画在一张对比图里,教程链接附完整 notebook。
所属事件:一图看懂数据并行、张量并行与流水线并行(2 条相关)→
「研究」频道最新
- SE3 Labs 开源首个 YAM 真机遥操作数据集:500 条双臂操作轨迹 — paigeinsf · 2026-11-19
- 审稿拖 1.5 年致 SOTA 论文过时,学者呼吁提交后即开源 — carlosdponx · 2026-11-19
- Berkeley 团队开源 StreamEmbed:屏幕历史检索提速3.7倍且全本地运行 — berkeley_ai · 2026-11-19
- NAACL RAF 开放 2026-2027 资助申请,5 月 6 日截止 — keviv9 · 2026-11-19
- 开源 Indic 脏话检测模型:12 种印度语言 + 英语,CPU 上每条评论 4ms — sudalairajkumar · 2026-11-19
- MAVE:从电影镜头重建可编辑 3D 场景,直接在 Blender 内使用 — bdsqlsz · 2026-11-19