看图猜注意力模式：四种经典 Attention 连接方式

cneuralnetwork · x · 2026-11-06

一张「Guess the Attention Pattern」科普谜题图，展示四种注意力连接模式让读者猜：A 为仅 attends 到前缀（因果/自回归注意力），B 为全连接（双向注意力，如 BERT/编码器），C 为相邻 token 互连（滑动窗口/局部注意力，如 Mistral、Longformer），D 为分块局部加跨块连接（块状稀疏注意力，如 Longformer 的 dilated sliding window 或 Swin 类层次注意力）。

这类图适合用来测试和讲解 Transformer 各种注意力变体的差异。