Meta 归一化融合提速方案
PyTorch · x · 2026-07-11
帖子转引了 Meta 在归一化融合上的一组优化思路，目标是缓解大模型和推荐系统里 **Normalization layers** 带来的内存瓶颈。 核心做法是把归一化算子直接与 **GEMM** 和 **Attention kernels** 融合，通过让 CUDA Core 上的归一化计算与 Tensor Core 执行流水并行，减少 tiling 差异带来的阻塞。文中提到的方案包括 **Lazy Pre-Norm**、**Multi-CTA Norm Fusion** 和 **FlashNormAttention**，并称在真实推荐流量和 **NVIDIA B200** 上能带来可观加速。