HBM 仅增 3% 但吞吐提升 30 倍：NVIDIA 全栈协同设计解内存困局
NVIDIA Blog · rss · 2026-11-06
NVIDIA 发文详解 AI 推理的内存挑战与全栈协同设计思路。大模型、长上下文与智能体应用正加剧 GPU 内存压力：KV cache 随智能体轨迹膨胀（单请求可处理至 300 万 token），RAG 又追加企业上下文，HBM 同时要装模型权重和 KV cache。
NVIDIA 的思路不是单纯堆 HBM，而是让每一字节在存储层级中产出更多有效工作：
- 压缩权重：NVFP4 格式替代 FP8，FLUX.2 [klein]、Nemotron 3.5 Super VL 等新模型已带 NVFP4 检查点发布；权重可分散到 NVL72 的 72 张 GPU 上，腾出 HBM。
- 压缩并下沉 KV cache：NVFP4 压缩 KV cache；Vera CPU 的大容量 LPDDR 经 NVLink-C2C 作为就近等待区；Dynamo 推理软件把非活跃上下文移到 CMX 上下文内存存储（Cloudian、DDN、Dell、HPE、IBM、NetApp、VAST、WEKA 等合作），并以 KV Cache Reuse 全系统复用。
- RAG 索引不占 HBM：Nemotron Retriever 生成更小嵌入，cuVS 让索引建在 CPU/存储侧，只有命中段落进上下文。
效果：从 Blackwell Ultra 到 Vera Rubin，单 GPU HBM 容量仅增约 3%，但在 SemiAnalysis AgentX DeepSeek V4 Pro 负载上，Vera Rubin NVL72 在每用户 125 token/秒下每美元吞吐较 GB300 NVL72 高达 30 倍（GB300 较 H200 为 10 倍）。结论：每代平台的每秒 token/美元增速远超 HBM 容量增速，内存墙之下全栈协同才是正解。
「Infra」频道最新
- Google 把 Agent Substrate、gVisor、OpenRL 捐给 CNCF,Agent Substrate 达 1.0 — HowDevelop · 2026-11-06
- 开发者感慨：大量内存囤在数据中心而非个人电脑 — prasenx · 2026-11-06
- Clairvoyance 上线本地 AI 基准：31 个模型×15 种硬件跑分可查 — draginol · 2026-11-06
- 亚马逊：推理已占 AWS AI 收入一半以上且仍在增长 — Beth_Kindig · 2026-11-06
- 本地实测：DeepSeek 15 分钟修好 HDMI 展示，Qwen 两次失败 — MundanePercentage674 · 2026-11-06
- 作者收官发布：手册记录 Fable/Astra 一代模型如何开始攻克数学难题 — Nouamanetazi · 2026-11-06