Lambda 实测:同配置下 RoCE 吞吐比 InfiniBand 低约 70%
TheZachMueller · x · 2026-11-21
TheZachMueller 租用 Lambda 同区域的两台 On-Demand 节点,实测网络互连对推理性能的影响,并引用 Lambda 官方对比数据:在 2x HGX B200 节点、约 250 并发用户下,RoCE 部署的吞吐量比 NVIDIA Quantum InfiniBand 低约 70%,首 token 延迟慢 2.5 倍。测试控制变量:同一模型(nvidia/GLM-5.2-NVFP4)、同一推理框架(SGLang TP16/DP16/EP16)、同一基准(AIPerf,8192 输入/1024 输出 token),唯一变量是互连——但作者也指出 RoCE 表现差并非互连单方面原因。
所属事件:实测无 InfiniBand 云端 B200:RoCE 吞吐仅为四分之一(2 条相关)→
「Infra」频道最新
- Parallel Search 评测登顶:fast 模式每任务仅 $0.014 — ArtificialAnlys · 2026-11-21
- 实测对比:媒体生成模型自建云 GPU 比 Higgsfield/Runway API 更便宜灵活 — Al_Grigor · 2026-11-21
- NVIDIA GTC 华盛顿 12 月 1 日议程出炉:基建、开源模型与物理 AI 四场重磅 — nvidia · 2026-11-21
- KV cache 读便宜是秘密:200 美元订阅等于 1.4 万美元 API 用量仍能赚钱 — rachittshah · 2026-11-21
- Baseten拆解AI时代安全威胁模型:agent集群分钟级窃数据 — baseten · 2026-11-21
- 投资人称英伟达算力兜底不可怕:至少三家竞品正争夺「AI 央行」 — GavinSBaker · 2026-11-21