The Evolution of Attention in Large Language Models: Mechanisms, Trade-offs, and Emerging Trends
Zhentao Tan, Jingyi Shen, Yanbo Li, Yao Liu, Yue Wu, Jieping Ye
cs.CL
2026-09-30
阿里综述用五维记忆透镜统一五条注意力研究线,盘点 59 个模型发布记录:设计未收敛,网络深度成记忆管理新维度。
注意力效率研究已经分裂成几条几乎不对话的线:压 KV cache(解码时缓存的键值,随上下文线性增长)、做稀疏访问、把历史折进递归状态、给状态加结构化动力学,还有把多种机制拼进一个模型的。每条线有自己的词汇,已有综述要么按架构家族、要么按计算复杂度、要么按 long-context 应用切分,显式记忆压缩和递归状态构造从来没有共享过一套比较语言。这是 Alibaba Token Hub 团队的综述,文献覆盖到 2026 年 9 月 22 日。它做两件事:给统一比较框架,给一份主流模型注意力设计的实证盘点。
一个透镜加一份清单。
透镜把所有 sequence mixer 看成「上下文记忆」系统,即模型内部随输入变化、处理序列时可用的信息,不含预训练参数和外部检索库,然后拆成五个功能维度:
五个是功能标签不是实现模块,一个操作可以同时承担几个角色。套在研究线上,分工显形:Softmax Attention 集中在 Representation 和 Update(GQA 按查询头共享 KV,MLA 把 KV 压进低秩潜变量),Sparse Attention 集中在 Access,核心问题是候选集怎么选;Linear Attention 和 SSM(状态空间模型,靠结构化递归状态携带上下文)集中在状态的构造与更新。
清单是 59 条 release 级记录、14 个主流模型 lineage 的纵向盘点,加 11 个高性能 open-weight endpoint 的冻结对比,统一闭包在 2026-09-22。披露不足的架构记为 undisclosed,不做推测。
综述没有 benchmark 分数,产出是三层判断:
| 层面 | 发现 |
| 机制 | 显式记忆与递归状态的接口不同,两边的设计控制范围却越来越重叠 |
| 架构 | 整体未收敛;协调沿网络深度展开,layer-wise 组合把互补记忆处理分布到不同层,cross-layer 复用让记忆和路由产物跨层存活 |
| 展望 | 提出多维 memory-routing 假设:持久记忆按时间跨度、深度、基底类型、粒度组织,由协同的 Sparse Write 与 Sparse Read 决定留什么、每次 query 读什么 |
盘点给出的具体事实:GQA 覆盖 Llama 3/4 和 Qwen2/3,在 Qwen3.5、Qwen3.6、Qwen3.8-2.4T-A95B 里以周期性门控全注意力路径保留;MLA 从 DeepSeek-V2 沿用到 V3/V3.2,Kimi K2 直接采用,Kimi K3 用 Gated MLA,GLM-5 系列把 MLA 用作 DSA 的内容表示;DeepSeek-V4 用 Heavily Compressed Attention 对重度压缩条目做稠密读出。稀疏侧,MiniMax-M3 约 428B 总参、23B 激活,60 层里 57 层跑 MSA 块稀疏。11 个 open-weight endpoint 的横截面结论:架构持续异构,显式 token 检索在前沿模型里持续占位,压缩状态路线尚未整体取代它。
对从业者,这份综述的价值是地图。五维透镜是个顺手的读论文工具:不少号称革新注意力的操作细看只动了 Integration,比如 head 路由和输出门控,KV 一条没省、注意力分数一次没少算;综述特别点破,数值上的稀疏要内核真能跳过对应计算才变成实际节省。59 条记录则是截至 2026 年 9 月的工业采用快照:前沿是 GQA/MLA、稀疏、混合的组合,不是某个单一算子的胜利。它给后续研究定的方向是,序列架构的核心问题正从优化孤立的 Attention 算子转向上下文记忆的组织、生命周期与选择性使用,这与 NSA、DSA、跨层复用的实际动向吻合。这是综述,没有新机制新数字,贡献在组织方式与盘点本身。
作者自述的边界:非穷尽综述;盘点刻意挑选、不按市场份额加权,明确声明不能把模型质量因果归因到某种注意力机制;多模态模型的视觉编码器等模态组件不进分类。读下来另有存疑:五个维度论文自己承认不正交,多数方法同时改多维权重,多标签描述的实际区分力还没被验证;memory-routing 假设是展望性综合,没给可检验的实验设计;14 个 lineage 与 59 条记录的入选规则只交代到「curated」,留有选择偏差空间。