GPU 编程学习第 280 天:从 NCCL 基础讲到 PyTorch 如何调用 AllReduce
NandoDF · x · 2026-10-12
开发者 levidiamode 记录其 GPU 编程一年打卡计划第 279-280 天的学习内容，主题是 NCCL(NVIDIA 集合通信库)。
- NCCL 基础:NCCL 为 GPU 间提供高速数据通信，支持 point-to-point 与集合通信原语，包括 Scatter、Gather、All-to-all、AllReduce、Broadcast、Reduce、AllGather、ReduceScatter 等。
- PyTorch 与 NCCL:通过 Meta 研究科学家 Daniel Johnson 的 GPU Mode 讲座，学习 PyTorch 训练中代码如何实际调用 NCCL AllReduce，以及为什么 AllReduce 运行在独立的 CUDA stream 上。
- 配图含训练 trace 截图,展示 sgemm 计算与 nccl::allreduce 调用在 stream 上的交错关系,并附推荐博客(siboehm.com 数据并行训练详解)。
「Infra」频道最新
- 芯片短缺拖累,Yandex 数据中心至少 2028 年前无法修复 — zacharynado · 2026-10-12
- EMNLP 论文:按主机采样式爬取可多收数倍高质量预训练页面 — metehan777 · 2026-10-12
- RTX Spark 笔记本卖断货：Surface 128GB 大内存版已缺货 — chemist_slime · 2026-10-12
- AWS 一周 AI 汇总:Claude Haiku 5.5 上线,Nova 2.5 Sonic 主打语音代理 — DigitalColmer · 2026-10-12
- 重度AI使用显著推高用电量，能源压力引发关注 — morgymcg · 2026-10-12
- Deno 开源 celld：自托管分布式 Durable Objects，无需共识集群 — bibryam · 2026-10-12