线性层即线性注意力:GD 训练的对偶视角与检索中心深度学习

ShahabBakht · x · 2026-10-12

mtavitschlegel 提出一个优美但鲜为人知的对偶视角:用梯度下降训练的线性层,其计算恰好等价于「初始权重 + 对自身训练历史的线性注意力」——每个测试输入会对训练期间见过的所有输入(作为 keys)做注意力,并重组与其关联的反向传播误差(作为 values)。

这一联系此前已被多次发现和重访,但至今仍不广为人知。作者建议认真对待这个视角:把线性注意力换成更强大的核(如 softmax attention,虽非易事),就导向了一种新的神经网络范式。配图来自 Google「Paradigms of Intelligence」讲座,标题为 Retrieval centric deep learning in growing nonparametric networks,给出了线性化到非线性的推导链条,并展示了从 W·x 到 attention(K,V,x) 的结构转换。