为什么MoE模型常被低估？
ParaboloidalCrest · reddit · 2026-07-11
发帖人对社区轻视 MoE（混合专家）模型的普遍情绪表示不解。社区常认为“122B 总参数但仅 10B 激活”的 MoE 模型远不如 27B 的稠密模型。发帖人指出，MoE 的实际表现高度依赖路由机制的有效性，路由越精准，模型越能发挥其全部参数的潜力，因此不能简单将其等同于一个 10B 的稠密模型。
ParaboloidalCrest · reddit · 2026-07-11
发帖人对社区轻视 MoE（混合专家）模型的普遍情绪表示不解。社区常认为“122B 总参数但仅 10B 激活”的 MoE 模型远不如 27B 的稠密模型。发帖人指出，MoE 的实际表现高度依赖路由机制的有效性，路由越精准，模型越能发挥其全部参数的潜力，因此不能简单将其等同于一个 10B 的稠密模型。