SGLang 新增 MoE 支持
BanghuaZ · x · 2026-07-13
这是一条关于 **SGLang** 的社区项目更新：给它加上了 **MoE 支持**。 - 重点能力包括： - 可配置的 **offloading** - **SM120 kernels** - 面向 SGLang 的 **MoE 兼容性** - 转述里提到，这个方案支持在 **vram** 中跑 2.7bpw，并通过 offloading 在速度和质量恢复之间做权衡。 - 作者也提到它受到了 **vllm-moet** 的启发，且从基准测试表现看起来速度很快。