一张图看懂主流开源模型的注意力机制：全注意力、滑窗与线性混合并存

burny_tech · x · 2026-11-08

@dizzee 整理了一@mostly recent 开源权重模型的 attention 机制全景图，涵盖美中两阵营十余个模型：美国侧 MAI-Base-2（2.8T 总参/80B 激活，17 全局+85 滑窗）、Inkling、Muse Spark Open、Nemotron 3.5 Super VL（Mamba-2 混合）、gpt-oss-120b 等；中国侧 Kimi K3.1 Pro（稀疏+KDA）、Qwen3.8 2.4T（DeltaNet）、GLM-5.3（sparse-borrowed）、DeepSeek-V4.1、MiMo V2.6 Pro 等；另有 Mistral Large 4。图中标注了各模型的 token-mixing 层数、全局/滑窗/稀疏/线性注意力配比与激活参数量，是对比各家架构取舍的难得参考资料。