EP里通信开销的判断方法
cHHillee · x · 2026-07-18
这条帖在讨论 **EP（expert parallel）里的 a2a 通信成本** 是否被很多人低估。 - 作者表示，Andrew Gu 曾给过一个他认为更正确的视角：在 EP 中，通信与矩阵乘法的相对耗时要一起算。 - 原帖写出一个判断式：通信时间与 matmul 时间的比值，取决于 `comm_time_per_byte / (intermediate_dim * time_per_flop)`。 - 结论是：**latent_moe 只把 input_dim 减半，但 intermediate_dim 不变**，因此并不会改变系统是否受网络瓶颈限制的本质判断。