SGLang 发布 MegaKernel+PD 方案,DeepSeek 推理性能大幅提升
SGLang 团队公布在 DeepSeek V4.1 Flash 上的推理优化成果:MegaKernel 将单用户交互速度从 538 提升至 943 tok/s,单卡吞吐达 65.4 万 tok/s,实现低延迟与高并发吞吐兼得。同时 SGLang 与 RadixArk 团队发布 MegaKernel+PD 分离方案,在提升服务表现的同时大幅优化 TCO,SemiAnalysis 发文祝贺。
2026-10-27 ~ 2026-10-27 · 2 条相关
- SGLang MegaKernel+PD 发布:高并发吞吐与低延迟兼得,TCO 大幅优化 — AccBalanced · 2026-10-27
- SGLang 优化 DeepSeek V4.1 Flash:单用户 943 tok/s,单卡吞吐 65.4 万 tok/s — ying11231 · 2026-10-27