torch-dist-bench 实测图：B200 8 卡 9 种集合通信的带宽与延迟全景
StasBekman · x · 2026-10-15
Stas Bekman 补充 torch-dist-bench 在 B200 8 卡上的延迟实测图：9 种集合通信(allreduce、allgather、gather、scatter 等)在不同消息大小下的每次调用延迟曲线。小消息下各集合通信延迟在十几到几十微秒，大消息下 batchisendirecv 在中等消息量出现明显延迟平台，其余集合通信带宽随消息增大逐步爬升至 600-800+ GBps。
所属事件:torch-dist-bench 曝 B200 8 卡集合通信延迟带宽全景(2 条相关)→
「Infra」频道最新
- NVIDIA 一日发布两款 Nemotron-3.5 开源模型：Super 与 Bolt 分工明确 — kuchaev · 2026-10-16
- Anthropic 日均合并代码从 2500 涨至 3 万，审查改看「意图」而非逐行读码 — Miles_Brundage · 2026-10-16
- 台积电 Q3 营收指引约 1760 亿美元，亲自核查客户算力与电力再扩产 — BenBajarin · 2026-10-16
- Physion 发布 NexTron：SFT 吞吐最高超 DeepSpeed 20.9 倍 — du_yilun · 2026-10-16
- Dreamscale 发布物理 AI 云推理：单张 H100 并发跑 8 台机器人 — arnie_hacker · 2026-10-16
- Google 地震预警系统从 98 国扩至近 200 个国家和地区 — sundarpichai · 2026-10-16