工程师用 NCCL Broadcast 梗图调侃黄仁勋道歉：所有 rank 都收到

cfregly · x · 2026-11-11

数据/AI 圈工程师 cfregly 借 NVIDIA 的 NCCL 集合通信文档玩梗：NCCL Broadcast 的作用是把数据从 root rank/GPU 复制到所有其他 rank/GPU——"黄仁勋写 1 份道歉，NCCL Broadcast 把这些字节从 root rank 复制给 Lori、Alice、NVIDIA 董事会和全体股东，每个人都收到"，配图把 NVIDIA 高管和股东画成了分布式集群里的各个 rank。

他还顺手用同一套人物讲解了 temperature 对 next-token 确定性的影响：T=0 时贪心解码选中 Lori，T=1 时按原始概率采样，Alice 赢得了这次抽样。附 NCCL 2.32.3 官方文档中 ncclBroadcast/ncclBcast 等集合通信 API 的说明。