Transformer 的两条信息通道
repligate · x · 2026-07-14
这条内容在解释 **Transformer 里信息是怎么流动的**，并指出很多“Transformer 讲解页”并没有真正讲清楚核心机制。 核心观点是： - Transformer 里有两条不同的信息通道：**残差流（residual stream）**和 **K/V 流**。 - 残差流沿着层与层之间、在同一位置上向下传递。 - K/V 流则在同一层内跨位置传播，用来让不同 token 之间进行信息交互。 作者进一步说明了每一层、每一位置上发生的步骤：先用输入残差流计算该层的 K/V，再把这些 K/V 用于注意力计算。整体上是在帮助读者用“信息高速公路”的视角理解 Transformer。