滑动窗口注意力完胜后训练线性注意力
jm_alexia · x · 2026-08-31
新论文证明，带有 attention sinks 的滑动窗口注意力(SWA)在无需任何成本的情况下，性能优于后训练的线性注意力模型。在长上下文推理任务中，SWA 性能比线性注意力高 2-10 倍。SWA 无需后训练、速度快且内存占用低，作者强烈建议使用 SWA 替代线性注意力模型来降低推理内存成本。
所属事件:零成本滑窗注意力+sinks 击败后训练线性注意力(9 条相关)→
「研究」频道最新
- 前沿实验室代码多由 AI 编写，论文提出「理解力审计」安全门槛 — ronbodkin · 2026-10-16
- Nature 论文用 LLM 绘制人类语言神经元地图,机制可解释性已成现实 — raphaelmilliere · 2026-10-16
- 审稿人自述:把写好的审稿意见喂给 AI 复查,论文本身不上传 — StingMeleoron · 2026-10-16
- OpenAI proofdump 把 3SUM 纪录推向 O(n^1.921),Lean 验证通过 — iskander · 2026-10-16
- 为 Kaggle Gemma 4 竞赛选手整理的消融实验资源 — ayushthakur0 · 2026-10-16
- 专家预测 2100 年前全球 AI 灾难概率中位数为 5% — ben_j_todd · 2026-10-16