MoE 推理的异构部署思路
techNmak · x · 2026-07-12
这篇内容解释了 **MoE 大模型的更优推理方式**：不是一味加 GPU，而是把算力和内存按硬件特性拆分利用。 ### 核心思路 - MoE 模型里只有一小部分专家会在每个 token 上被激活（文中举例为 256 个专家里只激活 8 个）。 - 因此，把全部专家都放进昂贵的 GPU 显存并不划算。 - KTransformers 的做法是： - **GPU** 负责 attention 和共享组件 - **CPU 内存** 承载大规模专家池 - 常用专家可放回 GPU，冷门专家留在 CPU - 用 **AMX / AVX** 加速 CPU 端 INT4/INT8 推理 - 通过 **NUMA-aware** 调度降低内存访问开销 ### 进一步实践 - 项目支持与 **SGLang** 集成用于服务。 - 也支持与 **LLaMA-Factory** 结合，在有限 GPU 内存下对大型 MoE 模型做微调。 - 文中给出的示例包括： - DeepSeek-V3/R1 微调约需 **4 张 RTX 4090、总计约 80GB GPU 内存** - Qwen3-30B-A3B 可在 **单张 RTX 4090** 上运行 - 项目声称已有 **17K+ GitHub stars**，并支持 GLM-5.2、MiniMax-M3、DeepSeek-V4-Flash、Kimi-K2.5 等模型。 ### 结论 作者强调的重点是：**GPU 显存不该承载整个模型，而应该承载“当前工作集”**。对于 MoE 来说，合理的 CPU-GPU 异构分工，比单纯堆 GPU 更关键。