Stas Bekman 曝 GPU 集合通信延迟榜:all_reduce 延迟最高达 24.5µs
StasBekman · x · 2026-10-15
Stas Bekman 分享了一组集合通信(collective)的延迟与带宽数据表。延迟方面,最小负载下 broadcast/reduce 最快(约 12.3µs),allreduce 最慢(16B 负载 24.5µs);带宽方面,16GiB 负载下 allreduce 峰值最高(839.56Gbps),alltoall 最低(639.74Gbps),表中还给出各操作的 half-peak payload。对做分布式训练/推理通信优化的人是实用参考数据。
所属事件:torch-dist-bench 曝 B200 8 卡集合通信延迟带宽全景(2 条相关)→
「Infra」频道最新
- NVIDIA 一日发布两款 Nemotron-3.5 开源模型：Super 与 Bolt 分工明确 — kuchaev · 2026-10-16
- Anthropic 日均合并代码从 2500 涨至 3 万，审查改看「意图」而非逐行读码 — Miles_Brundage · 2026-10-16
- 台积电 Q3 营收指引约 1760 亿美元，亲自核查客户算力与电力再扩产 — BenBajarin · 2026-10-16
- Physion 发布 NexTron：SFT 吞吐最高超 DeepSpeed 20.9 倍 — du_yilun · 2026-10-16
- Dreamscale 发布物理 AI 云推理：单张 H100 并发跑 8 台机器人 — arnie_hacker · 2026-10-16
- Google 地震预警系统从 98 国扩至近 200 个国家和地区 — sundarpichai · 2026-10-16