实测无 InfiniBand 的云端 B200 双机:RoCE 吞吐仅约四分之一
TheZachMueller · x · 2026-11-20
- Zach Mueller 实测:在 Lambda 同区域按需租两台 HGX B200 节点(无 InfiniBand,走 RoCE 以太网),跑 GLM 模型 NVFP4 量化、TP16 跨 2 机、8k 输入/1k 输出,与 InfiniBand 方案对比。
- 数据显示差距显著:输出吞吐上 InfiniBand 峰值约 1000+ tokens/s,RoCE 仅约 250-300;p95 TTFT 在高并发下 RoCE 达 700s+ 而 IB 维持约 200s;p95 ITL RoCE 高并发时超过 1400ms,IB 约 600ms;单用户吞吐低并发时 IB 可达 50+ tokens/s/用户。
- 结论:同一区域按需租用的普通以太网节点也能跑通多机推理,但吞吐和延迟代价明显,适合对成本敏感而非延迟敏感的场景。
所属事件:实测无 InfiniBand 云端 B200:RoCE 吞吐仅为四分之一(2 条相关)→
「Infra」频道最新
- NVIDIA GTC 华盛顿 12 月 1 日议程出炉:基建、开源模型与物理 AI 四场重磅 — nvidia · 2026-11-21
- KV cache 读便宜是秘密:200 美元订阅等于 1.4 万美元 API 用量仍能赚钱 — rachittshah · 2026-11-21
- Baseten拆解AI时代安全威胁模型:agent集群分钟级窃数据 — baseten · 2026-11-21
- 投资人称英伟达算力兜底不可怕:至少三家竞品正争夺「AI 央行」 — GavinSBaker · 2026-11-21
- 实测 11 个开源模型新注意力架构:128K 上下文显存最高省 139 倍 — bariskasikci · 2026-11-21
- Anthropic 已递交纳斯达克上市申请,博主劝你先在本地存一个开源模型 — alex_verem · 2026-11-21