vLLM 携手 NVIDIA 用 wideEP 优化 GB300 NVL72,TCO 性能领先 7.2 倍
woosuk_k · x · 2026-10-15
SemiAnalysis 报告:vLLM、Inferact 与 NVIDIA 通过极致软硬件协同设计,在 GB300 NVL72 上做推理优化,TCO 性价比达到其他 AI 芯片的 7.2 倍。核心是名为 wideEP 的大规模专家并行(DeepEP 式 6xDEP2+1xDEP16)优化,充分利用 NVL72 机架背板互联。
配图为 SemiAnalysis InferenceX 的 DeepSeek V4.1 Flash 552B agentic 场景测试图:按每 1 美元 TCO 的总 token 数对比 P90 交互速度,GB300 NVL72(Dynamo/vLLM)领先 B200(vLLM)约 7.22x、5.23x,领先 B300(vLLM) 3.21x;对比 MI325X/MI300X(vLLM)等 AMD 方案优势明显。图上还给出各芯片每小时 TCO:H100 $1.17、H200 $1.22、B200 $1.73、GB300 $2.31、MI300X $0.95 等。
「Infra」频道最新
- 几何自注意力新方法：2K 上下文状态小 14000 倍且 CE 更优 — iskander · 2026-10-15
- 美光三年涨 1230%,跑赢英伟达 AMD 博通 3-4 倍 — Beth_Kindig · 2026-10-15
- 模拟1050万种场景对比AI芯片位置验证方案的成本效益 — chrisrohlf · 2026-10-15
- CoreWeave 债券遭抛售次日，Neocloud 板块单日暴跌 12% — SumitGup · 2026-10-15
- TRELLIS.2 图生 3D 完整 1536 分辨率跑进 16GB 显存 — over-yonder-tech · 2026-10-15
- ServeTheHome 独家探访 AWS 秘密网络实验室：网络、光模块与超大规模 — firstadopter · 2026-10-15