SGLang将GLM-5.2吞吐提到500+/秒
BanghuaZ · x · 2026-07-15
这篇深度解析讲的是 SGLang 如何在 8xB300 上服务 GLM-5.2 的 agentic coding workload，目标是把单用户交互性和高并发吞吐同时做上去。
文章给出几组核心结果：在 bs=1 的场景下达到 500+ tok/s/user；发布两周内，单用户交互性提升 18%–34%；高并发峰值吞吐提升 6%–11%。作者认为，这些收益来自两部分：一是模型侧架构优化，GLM-5.2 在 DSA 层使用 IndexShare，并引入更强的 MTP head，复用 IndexShare 和 KVShare；二是 serving 侧优化。
工程细节里，最亮眼的是新的 TopK-V2 kernel：在 80K ISL 下快 2.33x，并且能扩展到 1M ISL 时 10.17x，同时把长上下文下的交互性基本保持平坦。
所属事件:SGLang v0.5.15 调优 GLM-5.2，8×B300 跑出 500+ tok/s(6 条相关)→
「编程与Agent」频道最新
- Alex Townsend 汇编 200 个数值线性代数开放问题，供人类与 AI 攻关 — IgorCarron · 2026-09-11
- Kimi K2.8 Preview 上线：性能接近 K3、1M 上下文全档开放 — teortaxesTex · 2026-09-11
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11
- 用 prompt 造硬件:一次对话让智能体组装定制设备寄到家 — paraschopra · 2026-09-11
- 模型之外才是关键:一文拆解 RAG 到多智能体的六大 AI 架构 — goyalshaliniuk · 2026-09-11
- 零基础开发者自建分层记忆架构，仅 20k token 记住一年对话 — matteoianni · 2026-09-11