SGLang 深度适配 DeepSeek V4.1 Flash，24 小时内冲到 873 tok/s
BanghuaZ · x · 2026-09-12
SGLang 团队宣布在 DeepSeek V4.1 Flash 发布后提供 Day 0 支持，并在 24 小时内把推理性能推到 4×GB300 上 BS=1 时 873 tok/s。
- 优化手段包括 FP8 GEMM 快速路径、kernel fusion 与 overlap、DSpark 优化、MoE TP4
- V4.1 Flash 引入多项架构变化：因果式 encoder-decoder 设计、CSA2 共享 KV、Engram、mHC、DSpark，SGLang 全部首日适配
- 团队发布了逐步可复现的工程优化指南
- DeepGEMM、FlashMLA 等更多优化仍在路上
所属事件:SGLang 24 小时适配 DeepSeek V4.1 Flash 达 873 tok/s(2 条相关)→
「Infra」频道最新
- Sam Altman 称 PC 装 RAM『相当糟糕』,数据中心利用率更高 — _BlackDove · 2026-10-31
- 亚马逊 AI 支出吓崩股价:Q3 资本开支 759 亿美元 — fortune · 2026-10-31
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- Lux Capital 牵头闭门夜话:Cognition 与 Modal 谈 AI 基建与安全 — graceisford · 2026-10-31
- GitHub Actions、Pages 与 Webhooks 发生大规模故障 — damontal · 2026-10-31
- FastVideo 适配 DGX Spark：aarch64 + CUDA 13 无 wheel 也能装 — victormustar · 2026-10-31