研究：滑动窗口注意力战胜线性注意力
jm_alexia · x · 2026-08-31
研究显示，在预训练的 softmax Transformer 上，只需后验修改为带 attention sinks 的滑动窗口掩码（SWA），且无需训练成本，其性能表现即优于强行适配线性注意力（Linear Attention）并微调的方法。评论指出，这表明若想使用线性注意力，应该从预训练阶段就采用该架构，而非后期强行适配。
所属事件:零成本滑窗注意力+sinks 击败后训练线性注意力(9 条相关)→
「研究」频道最新
- MagicBeanStalk 论文：递归合成难题数据，gpt-oss-120b 数学基准提升 8.6 分 — hyunw_kim · 2026-10-16
- CERN 携手 Mistral 打造首个对撞机物理大模型，训练数据为数十亿次质子对撞模拟 — xiaosun86 · 2026-10-16
- 研究者首次发现模型会主动塑造「未来的自己」 — Confident_Salt_8108 · 2026-10-16
- 研究估算：90% 美国人工时未被现有 AI 基准覆盖 — robseamans · 2026-10-16
- 新成果:多项式 Kelly 最优下注找到 O(n) 算法,优于朴素 O(n log n) — alexbilz · 2026-10-16
- 「我们可能已在 4 月不知不觉跨过某条线」：自改进系统调查 — Jealous-Two-4436 · 2026-10-16