研究揭示Pre-norm架构或破坏MoE负载均衡

近期学术海报及讨论指出，Pre-norm 架构中出现的表示崩塌问题可能会损害混合专家模型的负载均衡。因为相似的隐藏表示会导致路由集中，MAI 团队也观察到了类似现象。为缓解此问题，开发者发现可通过将注意力模块的输出投影初始化为0，迫使模型优先由 MLP 进行学习，从而使表示得以逐步健康演化。

2026-07-10 ~ 2026-07-10 · 2 条相关

• pre-norm或致MoE负载失衡 — SeunghyunSEO7 · 2026-07-10
• 预归一化架构的表示崩塌与修复 — SeunghyunSEO7 · 2026-07-10