SGLang优化GLM-5.2推理：8xB300实现单用户500+ tok/s
BanghuaZ · x · 2026-07-15
SGLang团队发文分享了针对 GLM-5.2 NVFP4 模型的推理优化细节，在 8xB300 硬件上实现了单用户（bs=1）500+ tok/s 的生成速度。
- 性能表现：在发布两周内，将单用户交互速度提升了 18% 至 34%，并在高并发下将峰值吞吐量提升了 6% 至 11%。得益于全新的 TopK-V2 kernel，模型在 80K 到 1M token 的超长上下文中，交互延迟基本保持平稳。
- 优化策略：主要从两方面入手。一是削减系统开销，采用零气泡调度（zero-bubble scheduling）、移除同步操作和算子融合（kernel fusion）；二是重写核心算子，包括 TopK-V2 和基于 CuTe DSL 的 GEMM。
- 模型架构优势：GLM-5.2 在其 DSA 层应用了 IndexShare 技术，并配备了复用 IndexShare 和 KVShare 的更强 MTP head，这些架构特性也助力了推理性能的提升。
所属事件:SGLang v0.5.15 调优 GLM-5.2，8×B300 跑出 500+ tok/s(6 条相关)→
「Infra」频道最新
- Anthropic S-1 曝超 8000 亿美元未入表的未来算力承诺 — GaryMarcus · 2026-10-27
- Anthropic 约 11GW 算力合同中 NVIDIA GPU 占约 42% — ns123abc · 2026-10-27
- 估算：Anthropic 约 11GW 算力中 42% 为 NVIDIA GPU — ns123abc · 2026-10-27
- EdgeRock-4B KV cache 256K 上下文仅 72 MiB,比 Qwen3.5-4B 小 99.1% — alifcoder · 2026-10-27
- RTX 5080 十天涨价 40%:1658 美元飙至 2318 美元 — Frizzy-MacDrizzle · 2026-10-27
- 12GB 显存实测:不设 VRAM 上限,出图从 24 秒变 11 分钟 — Impossible-Mail-4619 · 2026-10-27