SGLang v0.5.15 发布
BanghuaZ · x · 2026-07-11
SGLang 发布 **v0.5.15**，这一轮重点是面向生产环境的推理服务优化。 ### 主要进展 - 团队围绕 **GLM-5.2 NVFP4** 做了生产 serving 调优，在 **8x B300** 上达到 **500+ tok/s/user**，在 **4x GB300** 上达到 **450 tok/s/user**（bs=1）。 - 新增支持的模型包括：**Hunyuan 3、HRM-Text、NVIDIA LocateAnything-3B、Baidu Unlimited-OCR、JoyEcho、Qwen3.6** 等。 - 默认捕获路径改为 **Breakable CUDA Graph**。 - 内置 **web search**，由 Exa 提供支持。 - 增强了 **decode context parallelism**，覆盖 MLA 模型（包括 DeepSeek V3）。 - 为 routed MoE 加入 **FlashInfer all-to-all**。 - DeepSeek-V4 相关的 **FlashMLA sparse prefill** 默认开启，长上下文预填充和端到端性能也有提升。 ### 额外信息 - 这次版本吸收了 **43 位新贡献者**。