NVIDIA 四张 B200 跑 Nemotron 3 Ultra，优化后并发用户提升 2.5 倍
NVIDIAAI · x · 2026-09-15
- NVIDIA 工程团队发布 Nemotron 3 Ultra NIM 的全栈推理优化详解：在 4 张 B200 GPU 上，相比未优化的基线 serving 栈，系统吞吐最高提升 2.5 倍，在每用户 50 TPS 的交互目标下达到 1997 tokens/s 的总吞吐。
- 优化手段包括：自动调优 kernel、张量并行、前缀与状态复用、调度器与显存调优、MTP 投机解码等。
- NIM 将模型与 GPU 感知的服务配置打包为可部署微服务，并提供 NVIDIA AIPerf 基准工具，方便开发者用真实流量回放选择满足延迟 SLO 的 Pareto 最优点。
所属事件:Nemotron 3 Ultra 全栈推理优化:B200 四卡并发提升 2.5 倍(2 条相关)→
「Infra」频道最新
- effect-harness + Cloudflare：agent 循环自由拆到多台 VM 上跑 — samgoodwin89 · 2026-10-31
- 谷歌 Project Suncatcher 太空 TPU 首次在轨运行并返回结果 — sundarpichai · 2026-10-31
- Together AI 推出 Post-Training 平台:Agentic RL 训练托管服务 — togethercompute · 2026-10-31
- General Compute 融资 1 亿美元投推理算力，CoreWeave 股价同周创新低 — YvesMulkers · 2026-10-31
- 分析师警告 AI 算力「越买越涨」正反馈环,Kioxia 闪存涨价预警引发闪崩 — bookwormengr · 2026-10-31
- SOMA 推出企业级提示压缩层，宣称推理成本省 20% 以上 — markjeffrey · 2026-10-31