SGLang 优化 GLM 4.5 推理达 535 token/s
BanghuaZ · x · 2026-07-15
SGLang 团队持续优化 GLM 4.5 模型的推理性能，最新版本已能实现 535 token/s 的吞吐量。该进展得益于与 NVIDIA 及智谱 AI（Z.ai）的紧密合作。
BanghuaZ · x · 2026-07-15
SGLang 团队持续优化 GLM 4.5 模型的推理性能，最新版本已能实现 535 token/s 的吞吐量。该进展得益于与 NVIDIA 及智谱 AI（Z.ai）的紧密合作。