滑动窗口注意力是什么
NielsRogge · x · 2026-07-16
## 什么是 Sliding Window Attention Sliding Window Attention（SWA）是一种局部注意力模式，把每个 token 的注意范围限制在固定大小的邻域内，而不是整段序列都互相关注。这样可以显著降低长上下文模型里的注意力计算和 KV cache 内存开销。 它通常会和**周期性的全局注意力层**搭配使用：前者负责高效处理局部上下文，后者保留更远范围的信息传递能力。 帖子还附了相关学习链接，并提到有 **208 篇论文**引用了这一机制，说明它已经成为长上下文建模里一个很常见的基础组件。