SGLang 追平 DeepInfer:GB300 上解码吞吐提升 7.4%
BanghuaZ · x · 2026-10-25
SGLang 团队宣布其推理性能已追平 DeepInfer 的基准,并在 prefill 与 decode 两侧均有超越:
- Prefill:在 4×GB300 与 4×B300 上最高达到 1.04× 吞吐
- Decode:在 64×GB300 上最高提升 7.4% 吞吐
配图展示 DeepSeek-V4.1-Flash 模型下 SGLang 与 DeepInfer(实测与发布值)的吞吐-延迟曲线对比,SGLang 实测曲线整体持平或略优。团队同时提供了端到端复现指南与完整生产级 serving 技术栈。
「Infra」频道最新
- Amazon 推 TorchNeuron：Trainium 芯片零改动运行 PyTorch 代码 — Beth_Kindig · 2026-10-25
- 生病在家下单 Steam《Data Center》,博主体验机房管理模拟游戏 — AndyMasley · 2026-10-25
- 装上 SteamOS 扔掉 Windows，他攒出 96GB 内存跑 AI Agent — fforres · 2026-10-25
- Modal 推出免费 GPU Glossary：H100 可真并行超 1.6 万线程，每线程仅 5 瓦分之一 — josh_wills · 2026-10-25
- Reflection AI 开源 5000 亿参数 Beam：两个月数千 GPU 零停机训练 — dl_weekly · 2026-10-25
- 零阶优化预训练 10 天提速 4000 倍,从业者泼冷水:8B 模型 99.9% 方向从未探索 — burny_tech · 2026-10-25