实测无 InfiniBand 云端 B200:RoCE 吞吐仅为四分之一

Zach Mueller 在 Lambda 同区域按需租用两台 HGX B200 节点,在无 InfiniBand、仅走 RoCE 以太网的条件下实测 GLM 模型 NVFP4 量化推理的网络互连影响。结果显示同配置下 RoCE 吞吐比 InfiniBand 低约 70%,即仅约为后者的四分之一,该结论也与 Lambda 官方对比数据相印证,凸显网络互连方案对大规模推理性能的关键影响。

2026-11-20 ~ 2026-11-21 · 2 条相关

另有 1 条近重复转述:TheZachMueller