SGLang 实现 MoE 部署不重启在线加 GPU 弹性扩容
ying11231 · x · 2026-10-22
LMSYS 发布博客，介绍 SGLang 结合 NIXL 实现的 Elastic Expert Parallelism Scaling：MoE 模型部署可在不重启、不部署完整副本的情况下，以细粒度增量在线增加 GPU。示例中一个 20 GPU 部署扩到 24 GPU，仅新增 4 个 rank，现有 rank 持续服务。
技术要点：
- 区别于水平扩展（加完整副本）与垂直扩展（重启重建拓扑）的第三条路，复用恢复流程的成员变更机制
- maxepsize 定义部署可达到的最大 EP 拓扑
- 扩容后需重新捕获 CUDA graph
- 博客给出基准测试、实践限制与后续路线图（EPLB、多 rank DP-attention 分片、缩容与恢复等）
由 NVIDIA、SGLang 与 Mooncake 团队协作完成。
「Infra」频道最新
- Oracle 开放 Quantum AI Compute 测试,企业可早期试用 Helios 量子计算机 — AryHHAry · 2026-10-22
- 维修店两天收 8 张 16-pin 接口熔毁的 RTX 5090/4090 显卡 — chemist_slime · 2026-10-22
- 286GB 数据过滤实测：Polars 快于 DuckDB，但小内存下直接 OOM — vanstriendaniel · 2026-10-22
- Google 携手 Meta 让 TorchTitan 原生跑 TPU，Llama 3 等可直接预训练 — rseroter · 2026-10-22
- Modal CEO 谈 GPU 云经济学：算力为何不该按三年矩形合同卖 — Latent Space · 2026-10-22
- 「黄仁勋的噩梦」：华为与DeepSeek正缩小与英伟达的芯片生态差距 — pstAsiatech · 2026-10-22