用梯度下降训练的线性层等价于线性注意力

一项与 Google 合作的新论文提出对偶视角：用梯度下降训练的线性层，其计算恰好等价于「初始权重 + 对自身训练历史的线性注意力」，即每个测试输入会 attend 到训练期间见过的数据。作者指出这一视角鲜为人知却十分优美，并据此从 SGD 与线性注意力的对偶性出发，推导出一种以检索为中心的全新学习范式。

2026-10-11 ~ 2026-10-12 · 2 条相关