零成本滑窗注意力+sinks 击败后训练线性注意力
Alexia Jolicoeur-Martineau 等人的新论文（微软也已在 Hugging Face 上发布结论）提出一个反直觉结论：在预训练的 softmax Transformer 上，只需把注意力后验修改为带 attention sinks 的滑动窗口注意力（SWA）掩码，零训练成本，性能即可优于将模型强行适配为线性注意力（Linear Attention）再进行后训练微调的方案。这一结果若成立，将直接冲击“用线性注意力改造已有模型以降低推理成本”的技术路线。
已确认
- 该方法无需任何后训练步骤，attention sinks 是零成本添加的机制
- 在多个 LLM 与下游任务上，SWA 与线性注意力模型表现相当或更好
- 在长上下文推理任务（Needle-in-a-Haystack、BABILong）中，SWA 性能比线性注意力高出 210 倍
- SWA 推理速度快、内存占用低；微软称其为比线性注意力更便宜、更可靠的方案
- 滑动窗口限制每个 token 仅在固定大小邻域内关注，可显著减少长上下文模型的注意力与 KV-Cache 内存占用，同时通过周期性全局机制补充长程信息
尚未确认
- 有声音（见 ChengleiSi 转述的质疑）指出该结论具有误导性：线性注意力基于全注意力的权重初始化并非最优训练路径；且当前前沿模型普遍采用线性与全注意力的混合架构，SWA 与最优混合方案的对比仍待讨论
为什么重要
- 一个几乎免费的掩码改动即可超越昂贵的后训练适配，对线性注意力改造路线构成直接挑战
- 低内存占用意味着内存受限环境（如本地部署 LLM）下长上下文推理可行性显著提升
- attention sinks 与滑动窗口均为成熟技术，组合复现与应用门槛低，可能被推理框架快速采用
2026-08-31 ~ 2026-09-01 · 9 条相关
- 第 1 集:零成本滑窗注意力+sinks 击败后训练线性注意力(2026-08-31,9 条)
- 第 2 集:微软论文：滑窗注意力推理优于线性注意力(2026-09-02,2 条)
一手来源
- 滑动窗口注意力完胜后训练线性注意力 — jm_alexia ·
- 微软：滑窗注意力带 sinks 胜过后训练的线性注意力 — microsoft ·
- 滑动窗口注意力在长语境任务优于线性注意力 — iScienceLuvr · 2026-08-31
- 新研究：简单滑动窗口机制击败线性注意力 — jm_alexia · 2026-08-31
- 新研究：滑动窗口注意力+Attention Sinks 可替代二次方注意力 — woadwarrior · 2026-08-31
- 研究：滑动窗口注意力战胜线性注意力 — jm_alexia · 2026-08-31
- 【源头】微软：滑窗注意力带 sinks 胜过后训练的线性注意力 — microsoft · 2026-08-31
- 滑动窗口注意力优于线性注意力,零成本提升性能 — helloiamleonie · 2026-08-31
- SWA 滑窗注意力被指碾压线性注意力，混合架构才是最优解？ — ChengleiSi · 2026-09-01
另有 2 条近重复转述:jm_alexia · Justgototheeffinmoon