Hy 团队反对超稀疏 MoE:稀疏换效率但救不回质量
douglovefishing12 · reddit · 2026-11-22
r/LocalLLaMA 用户从 Hy 团队 AMA 中整理出其对超稀疏 MoE(如 200B-A3B 风格)的否定意见:
- 过度稀疏的 MoE 对推理不友好:占用 GPU 显存却用不满 FLOPs。
- 团队跑过稀疏度 scaling 阶梯(对比 MAI-Thinking-1 论文),发现在固定激活参数时,更稀疏确实能提升计算效率。
- 但保持总参数不变、削减激活参数(如 156B-A8B 或 A5B)会严重损害质量,因为激活参数基本就是计算预算。原话:「提高稀疏度能找回部分效率,但找不回全部。」
楼主补充讨论:这一结论适用于数据中心 GPU serving,但本地场景下大家已把专家权重 offload 到便宜的内存里、计算才是瓶颈,权衡可能反转;团队也表示端侧模型会用不同设计。
细节花絮:团队曾在 GQA 与 MLA 间反复权衡——MLA 在同 KV cache 大小下质量更好但让投机解码变成计算受限,最终是 DSA 让天平倒向 MLA。
「Infra」频道最新
- Gemini Ultra 每月 1000 点 Colab 算力:约合 55 小时 H100 — iskander · 2026-11-22
- SpaceX 拟射 400 亿美元 AI 芯片上太空,贷款方因抵押品无法追回而反对 — flngr · 2026-11-22
- Mac 刘海里塞进本地语音助手:4B 模型 0.43 秒开口 — KungFuSaifooo · 2026-11-22
- AMD 发布 PyTorch+ROCm 教程:30 分钟跑通 GPT-OSS-20B 本地推理 — PyTorch · 2026-11-22
- 微软 Outlook 宕机报告出炉:确认与 AI 工具无关,修复需全舰队两轮重启 — aronchick · 2026-11-22
- 用户实测 Flare 推理引擎:400+ tok/s — capetorch · 2026-11-22