torch-dist-bench 曝 B200 8 卡集合通信延迟带宽全景

Stas Bekman 基于 torch-dist-bench 发布 B200 8 卡上 9 种集合通信（allreduce、allgather、gather、scatter 等）的延迟与带宽实测数据。延迟方面，最小负载下 broadcast/reduce 最快（约 12.3µs），allreduce 延迟最高达 24.5µs。

2026-10-15 ~ 2026-10-15 · 2 条相关

• Stas Bekman 曝 GPU 集合通信延迟榜:all_reduce 延迟最高达 24.5µs — StasBekman · 2026-10-15
• torch-dist-bench 实测图：B200 8 卡 9 种集合通信的带宽与延迟全景 — StasBekman · 2026-10-15