Hy 团队反对超稀疏 MoE:稀疏换效率但救不回质量

douglovefishing12 · reddit · 2026-11-22

r/LocalLLaMA 用户从 Hy 团队 AMA 中整理出其对超稀疏 MoE(如 200B-A3B 风格)的否定意见:

楼主补充讨论:这一结论适用于数据中心 GPU serving,但本地场景下大家已把专家权重 offload 到便宜的内存里、计算才是瓶颈,权衡可能反转;团队也表示端侧模型会用不同设计。

细节花絮:团队曾在 GQA 与 MLA 间反复权衡——MLA 在同 KV cache 大小下质量更好但让投机解码变成计算受限,最终是 DSA 让天平倒向 MLA。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →