Flash Attention 比 SDPA 更该默认启用
LysandreJik · x · 2026-07-15
这条转发强调：**跑 LLM 时没必要用 SDPA attention**，等于在“自己削弱硬件”。作者的观点是，过去 flash attention 的部署也许还麻烦，但现在已经不再是主要障碍。 核心意思是： - **flash attention** 对吞吐有明显影响； - 继续用 **SDPA** 会白白损失性能； - 这种优化在今天已经足够成熟，不应再被当成“可选项”。 原帖还提到，自己甚至不想再展开 **CB**（上下文里应是进一步的性能优化话题）带来的收益。