vLLM 实现近零停机的弹性专家并行扩缩容
vLLM Blog · rss · 2026-10-19
vLLM 团队发文介绍如何让 Elastic Expert Parallelism（弹性专家并行）在扩缩容时实现接近零停机。关键在于两项设计：
- 异步准备（asynchronous preparation）：在流量切换前预先完成权重加载与资源准备，新实例就绪后再接管请求，避免服务中断；
- NIXL EP：借助 NIXL 实现专家并行场景下的高效权重传输与迁移。
对运行大规模 MoE 推理服务的团队来说，这意味着可以根据负载弹性增减 EP 实例而不牺牲可用性，显著提升算力利用率与成本效率。
「Infra」频道最新
- Brave Leo 上线端到端加密对话：TEE 内运行 GLM 5.3 Flash — bgmshana · 2026-10-23
- 算力墙逼近:a16z 论证专用芯片为何将复兴,Dennard scaling 已终结 — emax · 2026-10-23
- 华尔街接管 AI 基建融资,VC 们即将领教 PIK 利息的厉害 — matt_slotnick · 2026-10-23
- Clustered launch 竟跑出 128 个 block:一个 CUDA 隐形坑 — mike64_t · 2026-10-23
- Daniel Gross 悬赏 10 万美元征兆谁能让 Muse Spark 跑得最快 — danielgross · 2026-10-23
- 老牌投资人爆料:SpaceX 算力年入 250 亿美元,Anthropic 与 Google 是大客户 — elonmusk · 2026-10-23