SGLang 集成 DeepSeek 全套内核，预_fill 吞吐最高达 DeepInfer 1.04 倍
ying11231 · x · 2026-10-25
LMSYS 发布博客，回应 DeepSeek 开源其自用推理引擎 DeepInfer 后引发的对比：SGLang 已在 DeepInfer 自家 benchmark、相同硬件上追平甚至超越其性能。
关键结果
- Prefill：在 4×GB300 和 4×B300 上吞吐最高达 1.04×
- Decode：在 64×GB300 上步进时间最高缩短 7.4%，其余点差距在 1% 以内
SGLang 集成了什么
- DeepSeek 全套内核：FlashMLA、DeepGEMM、DeepEP、DeepSelect、TileLang，以及 Mega 系列（MegaAttention、MegaMoE、MegaGate、Mega-mHC）；MegaMoE 将 token dispatch、专家 GEMM 与 combine 融合为单一内核
- SWA bounded replay 与 host-memory Engram 表从 V4.1 支持第一天起就已落地，另有跨 GPU Engram 表的直接 peer 读取
- 并行策略：DP attention + 专家并行（DEP），prefill 用 DEP4、decode 用 DEP64
SGLang 的差异化：DeepInfer 的 README 明确列出其发布版不包含 API server、KV cache 系统、prefill/decode 分离和跨副本负载均衡，而 SGLang 提供完整生产级 serving 栈，并附端到端复现指南。
所属事件:SGLang 回应争议：追平并在部分指标超越 DeepInfer(3 条相关)→
「Infra」频道最新
- CMU 团队开源 Quail：SQL 内跑 LLM，平均比 vLLM 快 1.8 倍 — sh_reya · 2026-10-25
- AI 算力生意正在重演比特币挖矿：中间层注定吃下折旧与破产 — sebpaquet · 2026-10-25
- 马斯克：SpaceX 超级智能每月上线约 20 万块 GB300，明年转 Rubin — Beth_Kindig · 2026-10-25
- Epoch AI 估算:2027 年前内存芯片最多可支撑 1.71 亿个前沿 AI Agent — PeterDiamandis · 2026-10-25
- AI Studio 百万 token 计数是错觉:作者拆解冷缓存与配额真实消耗 — Former-Aerie6530 · 2026-10-25
- 250 欧捡漏两台魔改 Dell 工作站,配 3090 跑本地大模型值不值 — SlechteConcentratie · 2026-10-25