Stas Bekman 开源 torch-dist-bench:仅用 PyTorch 实测分布式通信真实带宽
StasBekman · x · 2026-10-15
知名 ML 工程师 Stas Bekman 发布 torch-dist-bench,类似 nccl-tests,但从 PyTorch 视角测量 torch.distributed 各集合通信(allreduce、allgather、reducescatter、alltoall 等 9 种)在不同消息大小下的真实带宽与延迟，输出表格和图表。
- 只需安装 PyTorch 即可运行，适合用 torch.distributed + NCCL 的训练程序，而非手写 CUDA NCCL kernel 的场景
- 是 all-reduce-bench 的新版本，托管在其 ml-engineering 仓库
- 支持 --with-host-overhead 计入 PyTorch 每次调用的 host 开销；B200 8 卡实测图显示各集合通信带宽随消息大小变化差异显著，小消息下 batchisendirecv 带宽明显偏低
- 用途：对比官方标称规格，找出实际能拿到的通信性能
「Infra」频道最新
- Agent 日合并破 3 万次，Anthropic 自曝已弃用 Git — shashib · 2026-10-16
- NVIDIA 一日发布两款 Nemotron-3.5 开源模型：Super 与 Bolt 分工明确 — kuchaev · 2026-10-16
- Anthropic 日均合并代码从 2500 涨至 3 万，审查改看「意图」而非逐行读码 — Miles_Brundage · 2026-10-16
- 台积电 Q3 营收指引约 1760 亿美元，亲自核查客户算力与电力再扩产 — BenBajarin · 2026-10-16
- Physion 发布 NexTron：SFT 吞吐最高超 DeepSpeed 20.9 倍 — du_yilun · 2026-10-16
- Dreamscale 发布物理 AI 云推理：单张 H100 并发跑 8 台机器人 — arnie_hacker · 2026-10-16