观点：显存受限时 MoE 未激活参数纯属死重，不如上 dense 模型

一位技术作者连续发帖讨论模型架构，提出在总内存受限的前提下，MoE（混合专家）模型中未被激活的参数就是纯占显存的死重。由此推论，如果目标是追求单位 GB 显存下的最优智力表现，不如直接选择 dense 模型而非 MoE 架构。该观点为本地部署和内存敏感场景下的模型选型提供了参考角度。

2026-10-21 ~ 2026-10-21 · 2 条相关

• 观点：显存总预算受限时，MoE 未激活参数就是死重 — TimDarcet · 2026-10-21
• 同一作者再谈架构：内存受限时 MoE 未激活参数纯属死重 — TimDarcet · 2026-10-21