实测对比：长回答任务中 SWA+mLSTM 混合架构胜过纯滑动窗口注意力

HochreiterSepp · x · 2026-11-03

研究者将 Qwen3-4B 蒸馏为两个同预算变体——纯 SWA 与 SWA+mLSTM 混合架构（Bifocal），在相同 KV-cache 预算、相同 4.1B token 训练量下对比：短回答任务两者打平（pass@1 约 59.1% vs 59.6%），但在长数学回答（约 7.6K token，答案超 4K 的 96 道题）上，混合架构解题数是纯 SWA 的 1.8 倍（pass@1 4.4% vs 2.5%）。

结论：滑动窗口注意力在短答案上确实够用，但长回答场景会丢失关键上下文，混合线性注意力（mLSTM）能显著弥补。对「SWA 是否真的优于线性注意力」这一争论给出了量化答案。