Meta 用 3.2K 行 Triton 代码打造 JFA 内核超越 FA4
PyTorch 团队发布博客,介绍为 Meta 生成式广告模型 GEM 打造的 Jagged Flash Attention(JFA)注意力内核。该实现基于 TLX(Triton Low-level Extensions),仅用约 3.2K 行 Triton 代码编写,面向 NVIDIA Blackwell GPU。性能测试显示其前向速度较 FlashAttention-4 快约 13%,反向传播快 50%,展现出以较少代码量实现高性能注意力内核的可行性。
2026-10-02 ~ 2026-10-02 · 2 条相关
- PyTorch 用 TLX 写 JFA 内核,前向快 FA4 约 13%、反向快 50% — PyTorch · 2026-10-02
- Meta 用 3.2K 行 Triton 代码超 FA4:forward 快 13%、backward 快 50% — lmoroney · 2026-10-02