NVIDIA GB300 NVL72推理吞吐几天内从7万提至约9万 TPS/GPU
NVIDIAAI · x · 2026-10-17
NVIDIA AI 官方账号透露，其工程师持续优化 ReflectionAI 模型在 GB300 NVL72 上的推理性能：在发布后不久，吞吐（TPS per GPU）已从 70K 提升至约 90K。
配图显示这是 Beam-1.0 模型在 GB300 NVL72 上的开箱性能曲线，采用 NVFP4 精度与投机解码（speculative decoding），针对 agentic 工作负载：吞吐随交互性（TPS per user）提高而下降，高吞吐端约 86K TPS/GPU，高交互端约 5-6K。
「Infra」频道最新
- Modal 揭秘亚秒级冷启动:自研分层懒加载容器文件系统 ImageFS — josh_wills · 2026-10-17
- Blackwell Ultra 租金连涨 17 天创历史新高,美国 neocloud 一机难求 — McDonaghMatthew · 2026-10-17
- 本地 AI 测速别只发 tok/s 截图：一份可信对比应包含 5 项指标 — EAccelerate_42 · 2026-10-17
- 4 台 Mac 实测：Draw Things 本地出图速度达 mflux 1.8 倍 — liuliu · 2026-10-17
- SurrealDB 新引擎点读达 RocksDB 28.3 倍,Agent Memory 同步上线 — mattturck · 2026-10-17
- Zuck 与 Wang 播客：Meta 超 5GW 算力背后的千亿赌注 — RylanSchaeffer · 2026-10-17