分析:NVL72 机架大规模 scale-up 带宽大多闲置,砍掉也不伤推理性能
bookwormengr · x · 2026-10-26
作者针对「缩减 scale-up 带宽是否影响性能」的争论给出技术判断:在 NVL72 这类大规模 scale-up 域中,带宽其实远未被用满。
要点:
- DP-EP 部署下,该带宽只用于在 DP 与 EP 之间搬运 activation,数据量相对可用带宽很小,即使大 batch 也不用满。
- 只有 Tensor Parallel 会重度消耗 GPU-GPU 带宽,但 scale-up 域够大时,大家更倾向 DP-EP 而非 DP-TP。
- 域内大部分带宽消耗其实在 GPU-HBM(读权重与 KV cache),与 GPU-GPU NVLink 是两个不同的池子:前者打满,后者用得很少。
- 训练确实用更多 scale-up 带宽,但同样不会饱和。
结论:减少 scale-up 带宽大概率不会造成性能退化。
「Infra」频道最新
- 印度视频团队算账：4090 工作站 vs AI 订阅，约 11 个月回本 — iamthecarguy1234 · 2026-10-26
- Cerebras CS-4 拆解图曝光：晶圆级封装带宽与功率翻倍、元件省一半 — jwt0625 · 2026-10-26
- theo 吐槽 Windows ARM:微软啃不动 20 年技术债 — wateriscoding · 2026-10-26
- TokenSpeed 三层三种语言:C++ 保正确、Rust 提性能、Python 粘合 — zhyncs42 · 2026-10-26
- 投机解码科普:猜错率 30% 也不改输出,一个减法保证答案不变 — anbarth · 2026-10-26
- 三周从零训一个 1B 模型：作者晒 15.9 天训练实录 — arthurcolle · 2026-10-26