微软论文：滑动窗注意力无需训练即可省显存
rohanpaul_ai · x · 2026-09-02
微软新论文指出，若目标是降低推理显存，无需训练的滑动窗注意力（Sliding Window Attention, SWA）效果优于大多数线性注意力方法。
核心方法：仅保留一小部分最近窗口，加上模型依赖的前 4 个“sink” token。
主要表现：
- 在 11 个模型的 9 个对比中，64-token 窗口的 SWA 拿到了最佳下游平均分，恢复了全注意力基线 99.0% 的平均性能。
- 在长语境推理上优势扩大：在 4K 上下文的 Needle-in-a-Haystack 任务中，SWA 达到 17.2%–23.0%，而 LoLCATs 仅为 5.8%；在 BABILong 上，SWA 得分 15% 对比 3%。
- 速度与内存测试中，64-token SWA 配置最快且显存占用最低。
结论：虽然全注意力在长上下文中仍表现最佳，但在固定低内存且不重新训练的情况下，建议优先尝试带 attention sinks 的 SWA。
所属事件:微软论文：滑窗注意力推理优于线性注意力(2 条相关)→
「研究」频道最新
- Smarter Every Day 博主 Destin 将答辩冲击聚变博士论文 — CatAstro_Piyush · 2026-10-18
- 脑植入物让失语者重新开口，Science 长文综述语音 BCI 产业进展 — EricMTrautmann · 2026-10-18
- 曼彻斯特大学发布 LLM 生成代码形式化验证演讲幻灯片 — CatAstro_Piyush · 2026-10-18
- 数学预印本新仓库 Hexagon 上线，收录 arXiv 不收的研究成果 — tak3sh8 · 2026-10-18
- Periodic 创始人 CoLM 演讲：自训模型终将跨越前沿模型拐点 — heghbalz · 2026-10-18
- PNAS 论文:生物突触可自组装出逼近梯度下降的学习规则 — xuanalogue · 2026-10-18