vLLM 弹性专家并行：MoE 部署可在流量中动态增减 GPU
PyTorch · x · 2026-09-26
PyTorch 官方宣布，vLLM 的 Elastic Expert Parallelism 允许在活跃的 Mixture-of-Experts 推理部署中、于真实流量下动态添加或移除 GPU，对服务的中断和停机时间降到最低。
NVIDIA 的 Itay Alroy 将在 PyTorch Conference North America 2026 上演讲该主题，内容涵盖架构设计、关键实现细节、开放挑战与路线图，并讲解 EP 规模变化时会发生什么，以及 NIXL EP 如何支撑流量中的扩缩容。
「Infra」频道最新
- 百度发布 ERNIE Evolve 自动研究系统,NanoGPT Speedrun 超公开最好成绩 — xiaohu · 2026-11-11
- 百度首次用 RSI 自动优化文心推理,昆仑芯出字速度提升 6.24 倍 — xiaohu · 2026-11-11
- Nvidia 供应承诺单季从 1190 亿飙至 2790 亿美元，锁死 2027-28 显存 — tengyanAI · 2026-11-11
- 独立研究者新优化器：24GB 显存可训 27B 模型，权重仅需 1.6bit — oguzeldereli · 2026-11-11
- 英伟达扩大与 Meta 的 Muse 合作,将向 Meta 投资 30 亿美元 — armand_ruiz · 2026-11-11
- 网友算账质疑 Anthropic:Opus 5.5 十亿美元成本大头不在算力 — teortaxesTex · 2026-11-11