研究发现超稀疏 MoE 存在“静默专家死亡”现象
YouJiacheng · x · 2026-08-26
一篇新博客文章揭示了超稀疏混合专家模型中一个未被察觉的失败模式。
- 现象：在训练极稀疏的 MoE（如 top-8/768）时，底层的专家可能在训练/验证损失和负载均衡看起来完全正常的情况下，变得功能失效。这些层的专家权重范数远小于健康层。
- 普遍性：审计公开的 MoE 模型（如 MiMo-v2.5-Pro 和 Qwen3.5-397B-A17B）也发现了类似的早期层崩溃迹象，基准测试可能掩盖了未被使用的容量。
- 原因：这不仅仅是负载均衡的失败，研究发现学习信号本身消失了。
- 解决方案：文章提到将损失函数连接到早期层可以在大规模上解决这一问题。
「研究」频道最新
- arXiv 机器人论文周产5年涨6倍,10月单周峰值达676篇 — Rewkang · 2026-10-15
- MicroSDF 论文：微表面驱动的混合神经 SDF 重构混合反射表面 — ssh4net · 2026-10-15
- KAUST 论文揭示「思维泄漏」:无思考模式 RL 增益只是旧能力回放 — kaust-generative-ai · 2026-10-15
- EPFL 提出 COMPASS:对齐/合并前先算模型配对兼容性 — epfl-ch · 2026-10-15
- BERT 分词器提速 50 倍：88% 时间耗在文本规范化上 — LysandreJik · 2026-10-15
- LLM 智能体自主设计 SAR ADC 芯片:SKY130 上从原理图到 signoff 无需人工 — IgorCarron · 2026-10-15