HiSA 注意力方法砍掉 65-71% Q·K 计算,解码吞吐提升 41%
Promptmethus · x · 2026-11-23
arXiv 论文提出 Hidden Sparse Attention(HiSA),指出 LLM 注意力中最多 70% 的 Q·K 点积计算是浪费的。与常见沿 token 维度做稀疏化的方法不同,HiSA 在隐藏特征维度做稀疏:利用 RoPE 旋转位置编码的结构,按 token 间距离静态决定哪些频率对的点积项可以省略——距离越远,高频对贡献越小,可安全跳过,且规则无参数、无需运行时选择。
从头训练使用 HiSA 的模型,性能不降反升,但只需计算约三分之一的 Q·K 乘积。在 NVIDIA H200、16K 上下文、batch size 128 下:
- 解码吞吐:9200 → 13000 tok/s(+41%)
- KV cache 占用:45 → 29.1 GiB(-35%)
- Q·K 乘积数量减少约 65-71%
作者还验证了已有模型只需追加 1.35B token 的额外训练即可适配 HiSA,并扩展到 FlashAttention-3 内核;分析显示稠密注意力本来就在学习抑制 HiSA 舍弃的那些分数部分。代码已开源。
「Infra」频道最新
- Koboldcpp 发布 v1.125.1 版本 — Fcking_Chuck · 2026-11-23
- Fireworks AI 数据泄露波及 Uber 15 万司机,美新规限制对华算力访问 — DavidLinthicum · 2026-11-23
- 为什么黑客组织不爱用 AI 攻击:噪音大、token 太贵、老方法仍有效 — jcran · 2026-11-23
- 业内争论:token 消费正从独占 GPU 转向按用量计费 — AccBalanced · 2026-11-23
- 微软发布 Azure AI 架构设计指南,含 Foundry Agent 参考架构 — adnan_hashmi · 2026-11-23
- Bloomberg:美国 90GW 自备电厂数据中心计划,仅 2% 落地 — rohanpaul_ai · 2026-11-23