SGLang v0.5.20 发布:Intel XPU 入列,解码最高提速 52%
hsu_byron · x · 2026-09-23
SGLang v0.5.20 正式发布,Intel XPU 首次纳入标准发布。主要更新:
- RL sampling masks 提升 rollout 稳定性,decode 最高快 52%
- 统一 Radix Tree 支持 SWA 分支点缓存,缓存命中率提高约 20 个百分点,TTFT 降至约 1/3
- DSpark 支持 PD + DCP 长上下文服务
- SGLang Simulator 可在 CPU 上做调度与缓存实验
- ROCm 模型加载最快提速 12.5 倍
- SGLang-Diffusion 端到端延迟最高降约 38%
新增模型支持 GLM-5.3-Flash、Qwen3.8-Flash-Next、K2 Horizon、Hy4-Preview、FastH3、VDN-H3 等。
「Infra」频道最新
- 高通新芯片亮点:用闪存按需流式加载 30B MoE 权重 — ryanshrout · 2026-09-23
- 高通骁龙峰会:Hexagon NPU 可跑 30B+ 参数 MoE 模型 — samcharrington · 2026-09-23
- OpenAI 改进 GPT-6 提示缓存:命中率更高、新增诊断与显式断点 — OpenAI News · 2026-09-23
- NCCL 2.31.2 发布:GPU 驱动细粒度通信与 0-SM 集合通信等改进 — SkyLi0n · 2026-09-23
- vLLM ROCm 核心维护团队直到近期才拿到持久 MI355X 集群 — AccBalanced · 2026-09-23
- 南非民权组织抗议美国科技公司数据中心扩张,要求暂停建设 — ChinasaTOkolo · 2026-09-23