SGLang 发布 MegaKernel+PD 方案,DeepSeek 推理性能大幅提升

SGLang 团队公布在 DeepSeek V4.1 Flash 上的推理优化成果:MegaKernel 将单用户交互速度从 538 提升至 943 tok/s,单卡吞吐达 65.4 万 tok/s,实现低延迟与高并发吞吐兼得。同时 SGLang 与 RadixArk 团队发布 MegaKernel+PD 分离方案,在提升服务表现的同时大幅优化 TCO,SemiAnalysis 发文祝贺。

2026-10-27 ~ 2026-10-27 · 2 条相关