SGLang v0.5.15聚焦生产推理性能优化

SGLang 发布 v0.5.15 版本,重点面向生产环境优化推理服务性能。官方表示,在 8x B300 硬件上针对 GLM-5.2 NVFP4 模型的生产级 serving 取得了显著的推理提速效果,体现了该框架在高效部署大模型方面的持续迭代。

2026-07-11 ~ 2026-07-12 · 2 条相关

另有 1 条近重复转述:BanghuaZ