滑动窗口注意力在长语境任务优于线性注意力
iScienceLuvr · x · 2026-08-31
研究发现，带 sinks 的滑动窗口注意力 (SWA) 在多个 LLM 和下游任务上的表现与线性注意力模型相当或更好。特别是在长语境推理任务 (Needle-in-a-Haystack, BABILong) 中，SWA 性能比线性注意力高出 2 到 10 倍。SWA 无需后训练，速度极快且内存占用低，是降低推理内存成本的廉价可靠方案。相比之下，线性注意力模型若要匹配 SWA 性能，可能需要从零开始训练或大量后训练。
所属事件:零成本滑窗注意力+sinks 击败后训练线性注意力(9 条相关)→
「研究」频道最新
- 前沿实验室代码多由 AI 编写，论文提出「理解力审计」安全门槛 — ronbodkin · 2026-10-16
- Nature 论文用 LLM 绘制人类语言神经元地图,机制可解释性已成现实 — raphaelmilliere · 2026-10-16
- 审稿人自述:把写好的审稿意见喂给 AI 复查,论文本身不上传 — StingMeleoron · 2026-10-16
- OpenAI proofdump 把 3SUM 纪录推向 O(n^1.921),Lean 验证通过 — iskander · 2026-10-16
- 为 Kaggle Gemma 4 竞赛选手整理的消融实验资源 — ayushthakur0 · 2026-10-16
- 专家预测 2100 年前全球 AI 灾难概率中位数为 5% — ben_j_todd · 2026-10-16