SWA 滑窗注意力被指碾压线性注意力，混合架构才是最优解？
ChengleiSi · x · 2026-09-01
研究人员发布论文称，引入 attention sinks 的滑动窗口注意力（SWA）在零成本下优于线性注意力。然而，有声音指出该结论具有误导性：线性注意力基于全注意力的权重初始化并非最优训练路径；且目前前沿模型普遍采用线性与全注意力的混合架构（如 Kimi 的 3:1 配置），实践证明混合方案性能优于单纯的线性或全注意力。
所属事件:零成本滑窗注意力+sinks 击败后训练线性注意力(9 条相关)→
「模型」频道最新
- 本周开源模型关键差异：Beam 用 Apache 2.0，公司可放心商用 — bigblueboo · 2026-10-16
- Beam 十项评测细分:自动化与物理推理翻倍领先,终端执行垫底 — ArtificialAnlys · 2026-10-16
- Beam 编码 Agent 指数仅 28 分:落后头部 40 分,但最省 token 之一 — ArtificialAnlys · 2026-10-16
- Beam 用量拆解:每任务 26k 输出仅 26% 是答案,推理占 19k — ArtificialAnlys · 2026-10-16
- Reflection 首模型 Beam 发布:美国开源权重第二,501B/23B MoE — ArtificialAnlys · 2026-10-16
- 为何 15B 以下开源模型越来越少见？大厂默契卡在 24-27B — Hot_Example_4456 · 2026-10-16