Lambda 实测:同配置下 RoCE 吞吐比 InfiniBand 低约 70%

TheZachMueller · x · 2026-11-21

TheZachMueller 租用 Lambda 同区域的两台 On-Demand 节点,实测网络互连对推理性能的影响,并引用 Lambda 官方对比数据:在 2x HGX B200 节点、约 250 并发用户下,RoCE 部署的吞吐量比 NVIDIA Quantum InfiniBand 低约 70%,首 token 延迟慢 2.5 倍。测试控制变量:同一模型(nvidia/GLM-5.2-NVFP4)、同一推理框架(SGLang TP16/DP16/EP16)、同一基准(AIPerf,8192 输入/1024 输出 token),唯一变量是互连——但作者也指出 RoCE 表现差并非互连单方面原因。

所属事件:实测无 InfiniBand 云端 B200:RoCE 吞吐仅为四分之一(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →