从记忆容量推导出 Transformer：外积存储容量约 2 倍键维度
burny_tech · x · 2026-10-20
Alex Wang 发布长文《You could have invented transformers from memory》，从「每一层都是一个记忆存储」出发逐步推导 Transformer 的结构，并配有交互式图表，可直观观察记忆叠加与干扰过程。
核心脉络：
- 外积式线性记忆存储在 M≈dk(64)时达到容量，最优存储可精确召回至 M=dk，超过后干扰按 √(M/dk−1)上升，容量约在 M=2dk(128)处到达上限。
- 线性存储对相似度是线性的，会同等放大小相似度带来的干扰；若在加权求和前对相似度施加非线性门控 σ，就能抑制低相似度 key——这恰好从第一性原理重新推出了两层 MLP：第一层权重矩阵的行是 keys，第二层的列是 values。
- 引用 Sukhbaatar 等关于前馈层与记忆存储相似性的工作，以及 Geva 等发现训练后的 Transformer 前馈层确实以这种 key-value 模式运作；文中还讨论了 squared ReLU 等激活如何进一步压制接近零的相似度。
文章末尾附有记忆相关最新研究的指引。
「模型」频道最新
- 传 DeepSeek-V4.1-Flash 在 ML 研究任务上力压 Anthropic — teortaxesTex · 2026-10-20
- 实测 DeepSeek 对比 Claude 与 Codex:谷歌地图商家抓取任务各有胜负 — teortaxesTex · 2026-10-20
- 投资人弃 Astra 回归 Fable,押注 Fable 5.5 将再度登顶 — bindureddy · 2026-10-20
- AI 声称跑了计算实则没跑:一个「想当然」模式解释多数 AI 错误 — CourseSome8119 · 2026-10-20
- HeadEdit：不改权重即可校准 LLM 行为，九项实验全面生效 — burny_tech · 2026-10-20
- HealthBench 医疗基准排行出炉:GPT-6 屠榜,Claude 长答案被扣 11 分 — ArtificialAnlys · 2026-10-20