滑动窗口注意力优于线性注意力,零成本提升性能
helloiamleonie · x · 2026-08-31
帖子介绍了滑动窗口注意力(Sliding Window Attention, SWA)机制：一种限制每个 token 仅在固定大小邻域内进行关注的局部注意力模式。这能减少长上下文模型的注意力和 KV-Cache 内存占用，同时通过周期性全局注意力层保留更广的上下文。引用的研究表明，在训练后切换到带注意力 sinks 的滑动窗口注意力掩码，在零成本的情况下击败了线性注意力。
所属事件:零成本滑窗注意力+sinks 击败后训练线性注意力(9 条相关)→
「研究」频道最新
- 新成果:多项式 Kelly 最优下注找到 O(n) 算法,优于朴素 O(n log n) — alexbilz · 2026-10-16
- Beam 微调实测:单节点 16 分钟跑 500 步,损失 0.89 降至 0.70 — QGallouedec · 2026-10-16
- 四足机器人实机实现变形+步行:各姿态单独强化学习、变形时切换策略 — _Stocko_ · 2026-10-16
- KinoGen 用运动学视频生成直接为人形机器人合成全身操作参考动作 — ChongZzZhang · 2026-10-16
- Science Robotics 论文提出 F³ 事件相机预测表征，超越光流 — CSProfKGD · 2026-10-16
- VideoGen-Agent:基于 Qwen3-VL 的 8B 多模态 Agent 用工具循环改写视频生成 — jiqizhixin · 2026-10-16