滑窗注意力击败线性注意力:长文本推理成绩高出 2 到 10 倍
s_scardapane · x · 2026-09-14
Mila 研究员 Alexia Jolicoeur-Martineau 等人的 arXiv 论文比较了后训练线性注意力与更简单的基线,结论出人意料:
- 带 sinks 的滑窗注意力(SWA)在多个 LLM 和多种下游任务上表现与后训练线性注意力模型持平或更好
- 长上下文推理任务(Needle-in-a-Haystack、BABILong)上,SWA 成绩高出线性注意力 2 到 10 倍
- SWA 无需后训练、速度极快、内存占用低,是极廉价可靠的方案
- 作者强烈建议:为降低推理内存成本,应直接改用 SWA 而非后训练线性模型;线性注意力若要追平 SWA,可能需要从头训练或大量后训练
「研究」频道最新
- AIR 调度器:按有效学习率设计,128B token MoE 预训练超越 cosine — stochasticchasm · 2026-10-30
- NVIDIA 研究员：利用仿真特权信息训练机器人策略，改进 Pi 0.5 — wellecks · 2026-10-30
- CMU 用 Agent 自动造 200+ 软件环境,Gym-Anything 拿 GDP 数据选题 — wellecks · 2026-10-30
- CMU 用 Agent 自动建 25 个物理仿真:前沿模型测试任务 0 通过 — wellecks · 2026-10-30
- 仿真训练的关键红利:利用模拟器特权信息改进模型 — wellecks · 2026-10-30
- DeepMind f_charton 谈 AI 与数学现状：庞加莱研究所演讲上线 — f_charton · 2026-10-30