新研究：简单滑动窗口机制击败线性注意力
jm_alexia · x · 2026-08-31
一项新研究展示了一个反直觉的发现：简单的滑动窗口注意力掩码配合 attention sinks（注意力下沉点，零成本添加）在性能上超越了经过后训练的线性注意力。论文指出，这种简单方案不仅不需要额外的后训练步骤，还能减少内存使用并取得更好的评分。
所属事件:零成本滑窗注意力+sinks 击败后训练线性注意力(9 条相关)→
「研究」频道最新
- MagicBeanStalk 论文：递归合成难题数据，gpt-oss-120b 数学基准提升 8.6 分 — hyunw_kim · 2026-10-16
- CERN 携手 Mistral 打造首个对撞机物理大模型，训练数据为数十亿次质子对撞模拟 — xiaosun86 · 2026-10-16
- 研究者首次发现模型会主动塑造「未来的自己」 — Confident_Salt_8108 · 2026-10-16
- 研究估算：90% 美国人工时未被现有 AI 基准覆盖 — robseamans · 2026-10-16
- 新成果:多项式 Kelly 最优下注找到 O(n) 算法,优于朴素 O(n log n) — alexbilz · 2026-10-16
- 「我们可能已在 4 月不知不觉跨过某条线」：自改进系统调查 — Jealous-Two-4436 · 2026-10-16