SGLang 推出低延迟模式：GB300 提速 1.38 倍、MI355X 提速 1.56 倍

ying11231 · x · 2026-10-21

SGLang 联合 NVIDIA 与 AMD 推出低延迟模式，并发布全新插件系统。在 SemiAnalysis AgentX 轨迹回放测试中，DeepSeek-V4.1-Flash（DSpark）在 NVIDIA GB300 上 P90 单用户 token 速度最高提升 1.38 倍（671→928 tok/s），AMD MI355X 上提升 1.56 倍（332→516 tok/s）。要点：NVIDIA 通过 kernel 重叠把解码层耗时从 96.8 降至 68.4 微秒；AMD 每层用 2 个持久 kernel 替代数十个小 kernel，并把跨 GPU 通信重叠其中；新插件系统允许外部库注入自定义低延迟 kernel，未覆盖步骤自动回退通用路径；NVIDIA 与 AMD 针对 GLM-5.3、Kimi K3、MiniMax M3 的低延迟 kernel 正在开发中。