AdaSplash2 加速稀疏注意力
lileics · x · 2026-07-09
AdaSplash2 是一个用于加速稀疏注意力的研究方法，结合了 α-entmax，并引入基于直方图的注意力权重初始化。作者称该方法的计算速度比 FlashAttention-2 更快。
lileics · x · 2026-07-09
AdaSplash2 是一个用于加速稀疏注意力的研究方法，结合了 α-entmax，并引入基于直方图的注意力权重初始化。作者称该方法的计算速度比 FlashAttention-2 更快。