SGLang 正式并入 NVIDIA AI Enterprise,NIM 认证微服务上线
ying11231 · x · 2026-11-14
SGLang 官方宣布,已作为 NVIDIA AI Enterprise 的一部分提供,基于 SGLang 构建的 NVIDIA NIM 认证微服务为企业提供了一条经过验证的生产级推理路径。
- SGLang 提供推理引擎:Unified Radix Cache、Breakable CUDA Graph,以及广泛的模型支持
- NVIDIA NIM 补齐企业侧能力:经过验证的容器、面向工作负载调优的部署配置、漏洞扫描与安全维护,以及通过 NVIDIA AI Enterprise 提供的企业支持
- SGLang Cookbook 配方反哺 NIM 配置优化,发现的问题已回馈上游社区
对使用开源推理栈的企业来说,这意味着 SGLang 有了官方认证的生产部署通道。
「Infra」频道最新
- 北达科他小镇公投3:1否决数据中心限制令,市长逐一驳斥担忧 — kevinnbass · 2026-11-14
- InferenceForge 调优 Kimi K3 推理,吞吐超公开最佳基线 43% — kaiwei_chang · 2026-11-14
- 网友借到 DGX Station 一个月：GB300 实测数据全公开 — CookEasy · 2026-11-14
- Hugging Face 推出 llama.cpp v1 引擎：手机到浏览器全平台跑模型 — LinkedInNews · 2026-11-14
- 2025 年全球新装工业机器人超 60 万台，中国占 59% — ingliguori · 2026-11-14
- LMSYS 携手 NVIDIA 实测：Vera CPU 跑沙盒，agentic RL 训练单回合快 11% — ying11231 · 2026-11-14