SGLang 发布 0.5.15
ying11231 · x · 2026-07-15
转发内容引用了 SGLang v0.5.15 的发布，重点是围绕生产级推理服务做了一轮优化。
这次更新包括：
- 针对 GLM-5.2 NVFP4 的生产服务调优，在 8x B300 上达到 500+ tok/s/user，在 4x GB300 上达到 450 tok/s/user（bs=1）
- 计划在后续线程和博客里放出运行命令与完整技术细节
- 新增支持多种模型：Hunyuan 3、HRM-Text、NVIDIA LocateAnything-3B、Baidu Unlimited-OCR、JoyEcho、Qwen3.6
- 主要更新还包括：Breakable CUDA Graph 默认捕获路径、内置 web search（由 Exa 提供）、支持 MLA 模型的 decode context parallelism、FlashInfer all-to-all 等
所属事件:SGLang v0.5.15 调优 GLM-5.2，8×B300 跑出 500+ tok/s(6 条相关)→
「Infra」频道最新
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27
- Gary Marcus:补上 Q3 数据后，Anthropic 算力效率增速现拐点 — GaryMarcus · 2026-10-27
- SpaceX 锁定 400 亿美元 GPU 融资，号称史上最大规模 — TechCrunch AI · 2026-10-27
- 推理社区与 K8s 社区高度重合：万亿市场的 Kubernetes 翻版 — matt_slotnick · 2026-10-27
- vLLM 考虑将更多栈迁往 Rust，推理引擎 Rust 化成趋势 — AccBalanced · 2026-10-27