NVIDIA 拆解五项协同设计：Vera Rubin NVL72 每兆瓦吞吐达 GB300 的 30 倍

NVIDIAAI · x · 2026-11-06

NVIDIA 技术博客发布长文，详解如何通过五个系统级协同设计手段把 AI 工厂里「每一字节」的价值榨到极致：

NVFP4 量化：相比 FP16 将模型体积缩小约 3.5 倍、相比 FP8 约 1.8 倍且保持精度，腾出 HBM 给 KV cache、更大 batch 与更高并发
Wide Expert Parallelism：TensorRT-LLM 把 MoE 专家分布到 8 块以上 GPU，通过权重复用提高算术强度，为每卡留出更多缓存空间
Dynamo + KV Cache Runner：把 KV cache 当作跨服务器共享的「机队级资源」，KV 感知路由、分离式推理服务，通过 NIXL 在 GPU/CPU/存储间分层放置 cache 块
Vera CPU：88 个 Olympus 核心，单线程性能提升 1.8 倍，以 1.8 TB/s 的 NVLink-C2C 与 Rubin 一致性互联，可在工具调用间隙暂存闲置 KV cache（1.5 TB LPDDR5X）
CMX 存储：基于 BlueField-4 STX、Spectrum-X 与 DOCA 的 pod 级存储层，跨节点共享与复用 KV cache

结论：在每 GPU 仍为 288 GB HBM 的前提下，五项协同设计让 Vera Rubin NVL72 相对 GB300 NVL72 实现最高 30 倍的每兆瓦吞吐。

「Infra」频道最新