SGLang 推出低延迟模式:GB300 提速 1.38×,MI355X 提速 1.56×
xiaosun86 · x · 2026-10-20
SGLang 联合 NVIDIA 与 AMD 推出低延迟模式（Low-Latency Mode）。在 SemiAnalysis 的 AgentX 轨迹回放测试中，运行 DeepSeek-V4.1-Flash 时：
- NVIDIA GB300 上 P90 每用户 token 速度提升至 1.38×（671→928 tok/s）
- AMD MI355X 上提升至 1.56×（332→516 tok/s）
- NVIDIA 侧通过 kernel 重叠将 decoder 单层时间从 96.8µs 降至 68.4µs
- AMD 侧每层仅用 2 个持久化 kernel 替代数十个小 kernel，并将跨 GPU 通信重叠其中
- 新增插件系统：外部库的自定义 kernel 可即插即用并自动回退；GLM-5.3、K3、MiniMax M3 的低延迟 kernel 正在开发中
「Infra」频道最新
- 中国上半年弃风弃光 360 度电太瓦时，够法国用十个月 — ccerrato147 · 2026-10-20
- Bittensor 子网挖矿 root 网络，88 Root 验证表现居首 — const_reborn · 2026-10-20
- 16 个本地模型在 Mac mini M6 32GB 跑分：最快约 64 tokens/秒 — JeremyCMorgan · 2026-10-20
- AMD GAIA 0.25 发布:Ryzen AI 本地智能体体验多项改进 — Fcking_Chuck · 2026-10-20
- PyTorchCon 北美大会圣何塞开幕,七大技术轨道覆盖全栈 — PyTorch · 2026-10-20
- 想花不到 1 万美元买张 5090 竟然一卡难求 — CedricMakes · 2026-10-20