MoE架构深度解析：总参数与激活参数如何影响成本

大模型之路 · wechat · 2026-08-14

文章详细解释了MoE（混合专家）架构：通过路由器将token分配给少数专家，实现总参数与激活参数的分离。以Qwen3.8（2.4T总参数，95B激活）、DeepSeek V4 Pro（1.6T总参数，49B激活）、Kimi K3（2.8T总参数）为例。MoE能解耦能力与成本，但存在负载均衡、量化难、部署复杂等坑。文章还澄清MoE省算力不省显存，并给出工程团队选型建议。