Baseten 优化 Nemotron 3 Ultra 推理,B200 四卡并发用户提升 2.5 倍
baseten · x · 2026-09-15
Baseten 工程团队为 Nemotron 3 Ultra NIM 做了推理服务优化,涉及缓存、内存、并行、解码等多个环节。
在 4 张 B200 GPU 上,优化后可支持多达 2.5 倍的并发用户,同时保持每用户 50 TPS 的吞吐,并发布了工程深度解析文章。
所属事件:Nemotron 3 Ultra 全栈推理优化:B200 四卡并发提升 2.5 倍(2 条相关)→
「Infra」频道最新
- Sam Altman 称 PC 装 RAM『相当糟糕』,数据中心利用率更高 — _BlackDove · 2026-10-31
- 亚马逊 AI 支出吓崩股价:Q3 资本开支 759 亿美元 — fortune · 2026-10-31
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- Lux Capital 牵头闭门夜话:Cognition 与 Modal 谈 AI 基建与安全 — graceisford · 2026-10-31
- GitHub Actions、Pages 与 Webhooks 发生大规模故障 — damontal · 2026-10-31
- FastVideo 适配 DGX Spark：aarch64 + CUDA 13 无 wheel 也能装 — victormustar · 2026-10-31