研究员观点：混合模型下游扩展更优，但全局注意力仍不可少

kalomaze · x · 2026-10-07

开源训练研究者 kalomaze 发推讨论混合架构（hybrid models，即局部注意力与线性/滑窗层混合）为何在下游任务上能表现出比纯 Transformer 更好的扩展性。他暗示关键在于归纳偏置：上下文中偶尔出现的全局注意力让模型不能依赖「每层都能看到全局」的捷径，被迫从局部窗口内的情境线索中学习更通用的规律——他举的直觉例子是，模型不得不靠文体和情境线索推断文本作者身份，而不是靠每次都能看到的网站页眉「作弊」。结论是：混合架构带来更好的学习信号，但至少部分位置仍需要全局注意力。