vLLM 的 MoE 模型内存卸载疑问
MelodicRecognition7 · reddit · 2026-07-17
作者想在 **96GB VRAM + 256GB RAM** 的机器上跑一个约 **156GB** 的 MoE 模型，尝试了 `vllm` 的 `--cpu-offload-gb 256` 和降低 `--max-model-len` 到 32768，但依然遇到 `torch.OutOfMemoryError: CUDA out of memory`。 他提出两个疑问： - 这种内存配置是否仍然不足以支撑该模型 + 32k 上下文 - 还是说 `vllm` 的 RAM offload 功能对这个模型/这类 MoE 还不能正常工作 问题本质是：**MoE 大模型在本地推理时，CPU offload、显存与上下文长度之间的实际边界在哪里**。