Nemotron 3 Ultra 全栈推理优化:B200 四卡并发提升 2.5 倍

NVIDIA 工程团队发布 Nemotron 3 Ultra NIM 全栈推理优化详解，Baseten 也针对该模型做了推理服务优化，涵盖缓存、内存、并行与解码等环节。在 4 张 B200 GPU 上，相比未优化的基线 serving 栈，系统吞吐最高显著提升，并发用户数提升约 2.5 倍，展示了软硬协同优化对大模型推理效率的巨大增益。

2026-09-15 ~ 2026-09-15 · 2 条相关