微软：滑窗注意力带 sinks 胜过后训练的线性注意力
microsoft · hf · 2026-08-31
微软在 Hugging Face 发布研究结论：带 sinks 的滑动窗口注意力（sliding-window attention with sinks）在长上下文任务上优于后训练得到的线性注意力，且无需重新训练，是更便宜、更可靠的推理方案。这为长上下文部署中的注意力机制选择提供了直接参考。
所属事件:零成本滑窗注意力+sinks 击败后训练线性注意力(9 条相关)→
「研究」频道最新
- 研究者首次发现模型会主动塑造「未来的自己」 — Confident_Salt_8108 · 2026-10-16
- 研究估算：90% 美国人工时未被现有 AI 基准覆盖 — robseamans · 2026-10-16
- 新成果:多项式 Kelly 最优下注找到 O(n) 算法,优于朴素 O(n log n) — alexbilz · 2026-10-16
- 「我们可能已在 4 月不知不觉跨过某条线」：自改进系统调查 — Jealous-Two-4436 · 2026-10-16
- Beam 微调实测:单节点 16 分钟跑 500 步,损失 0.89 降至 0.70 — QGallouedec · 2026-10-16
- 四足机器人实机实现变形+步行:各姿态单独强化学习、变形时切换策略 — _Stocko_ · 2026-10-16