PyTorch 用 TLX 写 JFA 内核,前向快 FA4 约 13%、反向快 50%
PyTorch · x · 2026-10-02
PyTorch 团队发布博客,介绍为 Meta 生成式广告模型 GEM 打造的注意力内核 Jagged Flash Attention(JFA)在 NVIDIA Blackwell B200 上的实现与优化。
- 实现方式:基于 TLX(Triton Low-level Extensions)构建,在 Triton 的高层 tile 编程模型之上增加了显式的硬件级控制。
- 代码量优势:约 3.2K 行简洁的 Triton 级代码,比 SOTA 的 FlashAttention-4(FA4,约 10K 行 CuteDSL)少约 3 倍。
- 性能表现:在 GEM 关注的 jagged 形状上超过 FA4——前向传播快约 13%,反向传播快约 50%。
文章展示了用高层语言写接近手写性能内核的可行性,对关注推理/训练内核优化的工程师有直接参考价值。
所属事件:Meta 用 3.2K 行 Triton 代码打造 JFA 内核超越 FA4(2 条相关)→
「Infra」频道最新
- 纯 Rust 推理引擎 RustingStrata 实测:3060 上跑 Qwen MoE 略胜原版 Strata — Serious_Scarcity7818 · 2026-11-19
- 投资人感叹:市场对不确定性的厌恶盖过了英伟达财报赚钱能力 — MartinGTobias · 2026-11-19
- SGLang 宣布为新模型 DaisyRose-27B 提供 Day-0 支持 — ying11231 · 2026-11-19
- Linux LTS 补丁洪峰将至:单日 3318 个补丁,「人类根本审不完」 — pkqzy888 · 2026-11-19
- DaisyRose-27B 背后:自建沙箱服务降本 80%,百万次运行成功率 99.95% — BanghuaZ · 2026-11-19
- 腾讯 220B Hy4-flash 量化版压到 49GB,64GB 显存即可跑 — gladkos · 2026-11-19