微软研究:滑窗注意力+attention sink 长上下文推理胜线性注意力 10 倍
burkov · x · 2026-09-03
Microsoft Research 新论文显示:简单的滑动窗口注意力加上 attention sinks,在标准基准上可匹敌甚至超越经过后训练的线性注意力模型,且在长上下文推理上领先最多 10 倍——全程无需任何后训练。
作者 burkov 已将论文上线到 ChapterPal 的 AI 导读(并吐槽该论文的许可证难以使用)。
所属事件:微软论文：滑窗注意力推理优于线性注意力(2 条相关)→
「研究」频道最新
- Hugging Face 上线 AI4Science 热力图，79 家机构贡献开源科研资产 — anshulkundaje · 2026-10-16
- MIT FutureTech 主任 Neil Thompson：AI 先接管任务再取代岗位 — bigdata · 2026-10-16
- 马里兰大学提出 PAIR 框架，用桥接 token 打通 VLA 感知与动作 — Kaixi Feng · 2026-10-16
- CI-MSE 离线指标与机器人真机成功率相关性达 -0.87,远超原始 MSE — chris_j_paxton · 2026-10-16
- Colossal 用 AI 破译灭绝渡渡鸟基因开关，复活计划再进一步 — castrotech · 2026-10-16
- Colossal Biosciences 用 AI 寻找基因开关，推进渡渡鸟复活计划 — castrotech · 2026-10-16