研究揭示线性联想记忆的精确容量阈值公式
jasondeanlee · x · 2026-08-24
这项由 Nicholas Barnfield、Juno Kim 等人合作的研究探讨了 d×d 线性联想记忆（LAM）的存储容量极限。论文证明，在各项同性高斯嵌入下，实现完美 Top-1 检索的临界阈值由公式 d²=2nlog n 决定。
- 容量阈值：当 d²/(nlog n) > 2 时，可以构造出高概率检索所有 n 个关联的记忆；低于此阈值则不可能实现。
- 对数因子成本：log n 因子被视为赢家通吃解码不可避免的极值成本。
- 弱检索目标：若不考虑对数因子（即 n/d² 趋于常数），同时 Top-1 检索不可行，但目标可保持在排名前列。研究引入了尾部平均边际（TAM）来衡量这种较弱的目标，当 k/n 趋于 r 时，可通过平滑 TAM 目标的经验风险最小化来学习记忆矩阵。
「研究」频道最新
- 解决 RL 延迟：Hillclimb 更清洁的代理任务 — JoshPurtell · 2026-08-24
- Qwen-Video-Edit：复用图像模型实现指令视频编辑 — AgeNo5351 · 2026-08-24
- 论文：利用 Transformer 教师预训练循环网络 — chrmanning · 2026-08-24
- 数学家访谈：分享我对数学与 AI 关系的最新观点 — littmath · 2026-08-24
- NeurIPS 2026 研讨会 AIDaR 聚焦科学 AI 数据就绪 — arjunrajlab · 2026-08-24
- AI 芯片算力瓶颈：为何要移动万亿比特数据 — prateekj · 2026-08-24