NVIDIA 与 ETH Zurich 通过删 barrier 降低 AllReduce 延迟

thoefler · x · 2026-07-22

NVIDIA 和 ETH Zurich 通过删掉全局 barrier 降低 AllReduce 延迟

这条帖子转发的是论文 The Barrier Tax，核心讨论长上下文解码中的通信瓶颈：当 KV cache 变大、batch size 变小后，collective 不再主要受带宽限制，而是开始受同步开销限制。

论文测到什么

• 在 4 张 GPU 的约 5 µs 小消息 AllReduce 场景里，同步开销约占 40% 的延迟。
• 在 GB200 上，一个全局内存 barrier 的代价超过 1 µs；很多 AllReduce kernel 需要两个 barrier。

他们怎么做

• LL：把 8 B 标志位塞进 16 B 原子写里。
• Sentinel：预填 -NaN 槽位，轮询直到变化。
• Double buffer：双缓冲，提前一轮执行。
• LL128 atomic：用 cache-line 级原子操作、原地归约。

结果

• 图中显示无 barrier kernel 约 2.37 µs，而 NCCL ring 约 11.0 µs。
• 在这个小消息场景里，速度约为 ring 的 4.6 倍。
• 论文估算：4 GPU 时可降低 7–13% 的 token 间延迟，8 GPU 时降低 9–11%。
• 每移除 1 µs 延迟，成本大约可降 0.9%。

原文链接 →

「Infra」频道最新

• 马斯克断言:机器人 RAM 需求将超其他一切,超级智能算力将移向深空 — elonmusk · 2026-10-27
• RTX 5090 卖到 7000 美元，PC 游戏社区集体否认 AI 热潮 — PAstynome · 2026-10-27
• Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27
• AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27
• 6 个月被抢超 1 亿美元：盗贼用 GPS 欺骗劫走数据中心货物 — Ars Technica AI · 2026-10-27
• Lam Research：18 个月内周均 token 用量暴涨约 250 倍 — Beth_Kindig · 2026-10-27

更多「Infra」频道 AI 资讯 →