SGLang 优化 DeepSeek V4.1 Flash：单用户 943 tok/s，单卡吞吐 65.4 万 tok/s
ying11231 · x · 2026-10-27
SGLang 团队公布在 DeepSeek V4.1 Flash 上『两端同时拉满』的推理优化成果：
- 低延迟端：MegaKernel 优化把单用户交互速度从 538 提升到 943 tok/s/user。
- 高吞吐端：WideEP 加全系统级优化，把单 GPU 总吞吐（缓存 + 新输入 + 输出）从 34.8 万提升到 65.4 万 tok/s。
SemiAnalysis 也发推祝贺 SGLang 与 RadixArk 团队在 MegaKernel + PD（prefill-decode 分离）上的工作。团队表示还有很大改进空间，后续会继续更新。
所属事件:SGLang 发布 MegaKernel+PD 方案，DeepSeek 推理性能大幅提升(2 条相关)→
「Infra」频道最新
- 长鑫 HBM3E 两个月内小批量投产,良率仅20%性能接近上代 — zephyr_z9 · 2026-10-28
- 视频转写成本曝光：GPU 识别每小时不到一块钱 — huangyun_122 · 2026-10-28
- 裸片+金柱互连+浸没冷却：一款被遗忘的超级计算机设计 — jwt0625 · 2026-10-28
- Reddit 预测明年 GPU 将大降价：算力泡沫正走向破裂 — sayamss · 2026-10-28
- Karpathy 力荐：从单个晶体管讲到完整 CPU 的科普视频系列 — blaizedsouza · 2026-10-28
- GPU 闲置一小时都在烧钱：Spot 利用率低于 60% 即亏损 — FinanceYF5 · 2026-10-28