Raschka 统计：开源 LLM 已无纯全注意力模型，混合架构成主流
rasbt · x · 2026-11-11
Sebastian Raschka 在筹备新的开源 LLM 年度盘点，提前分享了最显著的趋势：全注意力（full attention）正在从开源模型中消失。
- 2025 年：约 59% 模型全程使用全注意力，34% 为混合架构，6% 完全不用全注意力。
- 2026 年 1–8 月：全注意力降至 27%，混合架构升至 65%。
- 2026 年 8 月末至今：混合架构与「零全注意力」模型各占 52%/48%，纯全注意力模型已绝迹。
图例定义：「Some full attention」指全局注意力与滑动窗口/分块注意力、Gated DeltaNet、KDA、Mamba-2、Lightning Attention、卷积、稀疏注意力等混合；「No full attention」指没有任何稠密全局层。图中例证包括 Mistral Small 4（119B-A6B）、Kimi K3（2.8T）、MiniMax-M3.1-Flash（428B）。
核心动机是让长上下文更便宜：稀疏注意力只对选中的 token 子集做昂贵的注意力计算；循环层（如 Gated DeltaNet）用固定大小状态保存历史、节省内存，但压缩历史会牺牲精确检索，因此通常与传统注意力混合使用。这对长文档、大代码库和大量工具调用的 agent 场景尤其有利。
「模型」频道最新
- 让 Fable 5.2 自主训练本地模型：2 小时跑完 YOLO11+VLM 微调 — IgorCarron · 2026-11-11
- 传 Gemini 4 Carbon 已上线,博主实测称『玩起来很有趣』 — Saboo_Shubham_ · 2026-11-11
- 以太坊安全老兵:手握4个漏洞,却被西方AI逼得用中国模型挖洞 — TheMoonMidas · 2026-11-11
- 传 Gemini 4 Carbon 生成 Sundar Pichai 画像,模型代号再曝光 — CodeByPoonam · 2026-11-11
- LuminaBench 实测：Gemini 4 Carbon 登顶 Cursorbench 编码榜 — melvinjohnsonp · 2026-11-11
- 欧盟用户 VPN 内访问 Gemini 仍遭地区封锁,其他模型均正常 — Darth_Ender_Ro · 2026-11-11