AWS 详解 Hopper 上 Fused MoE 内核优化:矩阵转置换 2-4% 吞吐

AWS ML Blog · rss · 2026-10-13

AWS ML Blog 发文介绍其在 Amazon SageMaker 上对 Mixture-of-Experts(MoE)模型的内核工程优化。

Swap-AB 矩阵转置:NVIDIA Hopper 的 WGMMA 指令固定 M=64 的操作数布局,而 MoE decode 阶段 batch 极薄(M 常为 1),导致 Tensor Core 大量空转;通过代数转置把巨大的 expert 维度(N)换到主操作数位,既填满硬件布局又激活异步预取,在 H200 上带来 2-4% 端到端吞吐提升,已上游到 vLLM 0.24.0+
FP8 后端路由:vLLM 的 MoE oracle 会按量化方案选择 Triton 或 FlashInfer+CUTLASS 后端;性能分析发现 Hopper 上 FP8 tensor 量化的低并发场景,Triton 因把缩放、矩阵乘、expert 聚合融合为单次硬件 pass、数据只读一次 HBM,持续优于默认 CUTLASS 路径

「Infra」频道最新