HiSA 注意力方法砍掉 65-71% Q·K 计算,解码吞吐提升 41%

Promptmethus · x · 2026-11-23

arXiv 论文提出 Hidden Sparse Attention(HiSA),指出 LLM 注意力中最多 70% 的 Q·K 点积计算是浪费的。与常见沿 token 维度做稀疏化的方法不同,HiSA 在隐藏特征维度做稀疏:利用 RoPE 旋转位置编码的结构,按 token 间距离静态决定哪些频率对的点积项可以省略——距离越远,高频对贡献越小,可安全跳过,且规则无参数、无需运行时选择。

从头训练使用 HiSA 的模型,性能不降反升,但只需计算约三分之一的 Q·K 乘积。在 NVIDIA H200、16K 上下文、batch size 128 下:

作者还验证了已有模型只需追加 1.35B token 的额外训练即可适配 HiSA,并扩展到 FlashAttention-3 内核;分析显示稠密注意力本来就在学习抑制 HiSA 舍弃的那些分数部分。代码已开源。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →