FlashAttention 优化在 RTX 上几乎失效
NoVibeCoding · reddit · 2026-07-09
作者复现并测试了 FlashAttention-3/4 的部分优化在 RTX 消费级 GPU 上是否有效，结果显示在 RTX 5090 上最终性能基本只能达到 FlashAttention-2 的水平。文中分析了 WGMMA、TMA、warp specialization 等优化在消费卡上的适用性，指出很多 FA-3/4 关键优化依赖数据中心硬件特性，在 RTX 上收益有限。