NVIDIA称Blackwell推理吞吐可提20倍
nvidia · x · 2026-07-14
NVIDIA 继续强调全栈推理软件的乘法效应，并给出了更具体的技术与效果：
- 通过 disaggregated serving、large expert parallelism、NVFP4 精度、multi-token prediction 等优化，单项都能带来提升
- 组合起来后，在 NVIDIA Blackwell 上的吞吐量最高可提升 20x
- 另一个回复里还提到，PyTorch 带 CUDA 的 PyPI 下载量已超过 7 亿，并称开源框架与 CUDA 生态共同推动了 AI 发展
整体是在讲：推理性能不只看芯片本身，软件栈和生态同样决定最终吞吐。
所属事件:英伟达强调全栈优势：PyTorch下载超7亿次(3 条相关)→
「Infra」频道最新
- Anthropic 背 4750 亿美元算力合约,OpenAI 到 2030 年拟投约 7500 亿 — kyliebytes · 2026-10-27
- 首个数据中心噪音系统研究:25 座超大规模机房中 17 座无可信投诉 — AndyMasley · 2026-10-27
- 3 张二手 V100 跑 Qwen 近 400 tokens/秒 — jfinkpottery · 2026-10-27
- RFD4-Proteina 跑在 RTX 3060 上:单次蛋白设计最低约 $0.001 — AllThingsApx · 2026-10-27
- 开发者抱怨 npm 新包上线要等 20 分钟，疑为防 AI 攻击限流 — cocktailpeanut · 2026-10-27
- Nature Physics 论文：可重构折射率实现对多模波传播的任意控制 — MarioKrenn6240 · 2026-10-27