Meta 用 3.2K 行 Triton 代码超 FA4:forward 快 13%、backward 快 50%
lmoroney · x · 2026-10-02
Meta 发布了基于 TLX(Triton Low-level Extensions)的 Jagged Flash Attention 实现,用于 Blackwell GPU,代码已在 GitHub 开源。
- TLX kernel 约 3.2K 行 Triton 级代码,比约 1 万行的 CuteDSL FlashAttention-4 kernel 短约 3 倍。
- 在广告模型实际使用的 jagged 形状上,forward 比 FA4 快约 13%,backward 快约 50%。
- 作者 Laurmoroney 的观点:高层 Triton 加上恰当的硬件钩子,就能写出既有竞争力、建模工程师又读得懂可扩展的 kernel——性能与可教性可以兼得,对 ML systems 教学很有价值。
所属事件:Meta 用 3.2K 行 Triton 代码打造 JFA 内核超越 FA4(2 条相关)→
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19