NVL72的机架内外带宽断崖
AccBalanced · x · 2026-07-17
帖子强调了 NVIDIA NVL72 机架内部与机架外部的通信差异：
- 机架内 GPU 之间可通过 NVLink 以约 1.8 TB/s 互联；
- 一旦流量离开机架，网络卡带宽会降到大约 50 GB/s；
- 这种约 18 到 36 倍的带宽落差，解释了 NVIDIA 的一部分定价权。
作者的结论是：芯片只完成了产品的一半，真正的产品还包括机架级互联与系统设计。
「Infra」频道最新
- 全同态加密 GPT-2 速通赛开跑:现纪录 3.031 秒/token — tensorqt · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- Together 推出并行 LoRA 实验：多个实验共享同一批 GPU，免重复配置 — togethercompute · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27