SGLang将GLM-5.2吞吐提到500+/秒
BanghuaZ · x · 2026-07-15
这篇深度解析讲的是 SGLang 如何在 8xB300 上服务 GLM-5.2 的 agentic coding workload，目标是把单用户交互性和高并发吞吐同时做上去。
文章给出几组核心结果：在 bs=1 的场景下达到 500+ tok/s/user；发布两周内，单用户交互性提升 18%–34%；高并发峰值吞吐提升 6%–11%。作者认为，这些收益来自两部分：一是模型侧架构优化，GLM-5.2 在 DSA 层使用 IndexShare，并引入更强的 MTP head，复用 IndexShare 和 KVShare；二是 serving 侧优化。
工程细节里，最亮眼的是新的 TopK-V2 kernel：在 80K ISL 下快 2.33x，并且能扩展到 1M ISL 时 10.17x，同时把长上下文下的交互性基本保持平坦。
所属事件:SGLang v0.5.15 调优 GLM-5.2，8×B300 跑出 500+ tok/s(6 条相关)→
「编程与Agent」频道最新
- Agent 绕过 UI 就能改已审批报销单?Agent-Native 框架要堵这个洞 — rseroter · 2026-10-27
- 开发者晒 AI 编码智能栈：人定方向 Opus 写码 Astra 审查，人类只做审阅 — sh_reya · 2026-10-27
- Baseten 网络课：用自有合并 PR 建 benchmark,按每成功任务成本评估开源模型 — baseten · 2026-10-27
- Thorsten Ball 谈 Agent 工作法：多用评测、多上自动化、放手让 Agent 干 — omarsar0 · 2026-10-27
- 定时运行的 Agent 任务，哪些可以免审批？Reddit 热议信任边界 — MemStrata · 2026-10-27
- 四个值得一试的 MCP 服务器:YouTube 全量字幕搜索等 — Prior_Engineering486 · 2026-10-27