微软 HotChips 演示揭示 AI 集群带宽瓶颈
bookwormengr · x · 2026-08-31
在 HotChips 会议上，微软的演示揭示了 AI 集群架构中存在的“带宽墙”：本地加速器之间带宽为 6-7 400G（非交换网络），而不同计算托盘/机架的加速器之间仅 2 400G（交换网络）。虽然微软统一使用了协议且采用片上 NIC，但这一带宽差异巨大。技术上可以通过重新分配每加速器 28 个 400G 链路来消除此墙，但这取决于是否需要超过 4 个节点的张量并行。
「Infra」频道最新
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16
- SkyRL 为 Beam 提供首日 RL 支持,LoRA 解码吞吐提升 62% — vllm_project · 2026-10-16
- DFlash2 为 Beam 解码提速最高 3.03 倍 — vllm_project · 2026-10-16
- Beam 长上下文服务优化:GB200 前向最快降 20% — vllm_project · 2026-10-16
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16
- 单卡 24GB 跑 Gemma 4 31B QAT：4090 上 46 tok/s，加草稿模型达 80 — Subject_Poet_3861 · 2026-10-16