pre-norm或致MoE负载失衡

SeunghyunSEO7 · x · 2026-07-10

帖子总结了一项关于高维学习动力学海报的观点：在 pre-norm 架构中，representation collapse 可能会伤害 MoE 的专家负载均衡，因为相似的隐藏表示在 self-attention 后更容易路由到少数专家。