SGLang 合并 Megakernel 低延迟模式，GB300 单用户近 1000 tok/s
ying11231 · x · 2026-10-21
SGLang 与 NVIDIA、AMD 合作推出 Low-Latency Mode（megakernel 支持已合并），在 SemiAnalysis 的 AgentX trace 回放中实测：
- NVIDIA GB300：DeepSeek-V4.1-Flash + DSpark 下 P90 单用户 token 速度提升至 1.38 倍（671→928 tok/s）， decoder 层时间从 96.8µs 降至 68.4µs，靠重叠 kernel 实现
- AMD MI355X：提升 1.56 倍（332→516 tok/s），每层用 2 个持久化 kernel 取代数十个小 kernel，跨 GPU 通信被重叠在 kernel 内部
- 新插件系统：外部库的自定义 kernel 可即插即用并自动回退
- GLM-5.3、K3、MiniMax M3 的低延迟 kernel 正在开发中
SemiAnalysis 称在 GB300 NVL72 AgentX Harness 上单用户已接近 1000 tok/s，且 SGLang 官方 Docker 镜像开箱即用。
所属事件:SGLang 推出低延迟模式，GB300 性能提升 1.38 倍(3 条相关)→
「Infra」频道最新
- 企业 token 支出增速从 42% 骤降至 0.2%,超大规模厂商 ROIC 跌至 20% — SumitGup · 2026-10-21
- 高通全球裁员转战 AI 数据中心：目标 2027 年 50 亿美元营收 — rohanpaul_ai · 2026-10-21
- vLLM 登台 PyTorchCon 2026：跨 TPU、AMD、NVIDIA 优化 KV cache 与内核 — PyTorch · 2026-10-21
- antirez 尝试用 DeepSeek Infer 为 DGX Spark 优化 DwarfStar 内核 — antirez · 2026-10-21
- 三进制 2-bit 端侧模型 Ternary-Bonsai-2-9B 上架 HF,支持视觉输入 — prism-ml · 2026-10-21
- GPU 管预填、Positron 管解码:异构推理组合瞄准内存带宽瓶颈 — cneuralnetwork · 2026-10-21