Meta 用 3.2K 行 Triton 代码打造 JFA 内核超越 FA4

PyTorch 团队发布博客,介绍为 Meta 生成式广告模型 GEM 打造的 Jagged Flash Attention(JFA)注意力内核。该实现基于 TLX(Triton Low-level Extensions),仅用约 3.2K 行 Triton 代码编写,面向 NVIDIA Blackwell GPU。性能测试显示其前向速度较 FlashAttention-4 快约 13%,反向传播快 50%,展现出以较少代码量实现高性能注意力内核的可行性。

2026-10-02 ~ 2026-10-02 · 2 条相关