Alex Wang 在 Perplexity 读书会用联想记忆统一解读 Transformer 设计

andrewgwils · x · 2026-11-06

前 Cornell 本科生 Alex Wang 应 Andrew Ng 圈内研究者 Andrew Wilson 之邀（实为 Perplexity 读书组邀请），在 Perplexity 读书会做了题为「Associative Memory」的分享，并公开了完整幻灯片。

核心论点：

Transformer 的各种设计选择（ReLU/GELU/SwiGLU、key/value 短卷积、attention sink、线性注意力、DeltaNet、SSM 等）通常按「计算了什么」来描述，很少说明「为了什么」，因此显得随意。
作者提出用「联想记忆（Associative Memory）」作为统一视角来理解这些架构组件——这是 Kohonen、Hopfield 等人在上世纪七八十年代研究的老想法，Hopfield 因此获 2024 年诺贝尔物理学奖，但如今多数从业者已遗忘。
分享从最简单的记忆存储出发：用外积累加存储 key-value 对（W = Σ vᵢkᵢᵀ），查询即 f(x) = Wx，按 key 相似度加权召回 value；key 正交时无干扰，非正交则产生 interference，由此解释各架构设计的动机。
内容基于其博客《You could have invented transformers from memory》与 JMLR 论文《Test-time regression》，并联系 fast weights / test-time training / SSM / GDN 等方向。

Andrew Wilson 评价这是一篇「在 slop 时代难得的深思熟虑之作」。

「研究」频道最新