Nature 子刊:扩散模型本质是稠密联想记忆,存在记忆/泛化/伪模式三相
DimaKrotov · x · 2026-10-29
发表于 Nature Communications 的研究（IBM 与 RPI 团队，含 Dmitry Krotov）将扩散模型置于稠密联想记忆（Dense Associative Memory，Hopfield 网络的推广）框架下分析:
- 扩散模型的记忆存储于能量景观的局部极小值；当训练数据超过临界存储容量时，会出现不同于训练样本的新局部极小值，即「伪状态」（spurious states）
- 研究识别出三个计算阶段：记忆化（memorization）、泛化（generalization）与伪模式生成——第三相是联想记忆的标志性现象，与记忆样本和泛化样本并存
- 团队用吸引盆和曲率测量刻画了全部三种状态，并将分析扩展到 Stable Diffusion
该工作为理解扩散模型如何在存储特征与创造新模式之间权衡提供了理论框架。
「研究」频道最新
- 「表达鸿沟」预印本发布：度量人类与 AI 中不可言说的默会知识 — sanmikoyejo · 2026-10-29
- 研究实测：同行评审最不可言传，越写清偏好越失真 — sanmikoyejo · 2026-10-29
- 新方法超 GEPA 约 14%：结构化搜索 + prompt 性能上限估计 — sanmikoyejo · 2026-10-29
- 借生态学“捕获-再捕获”估计 rubric 还有多少未发现指标 — sanmikoyejo · 2026-10-29
- VAT 方法用三种模型测量任务的默会知识含量 — sanmikoyejo · 2026-10-29
- 3.17亿条人类偏好数据集 CreativePreferences 试图量化「说不清的隐性知识」 — sanmikoyejo · 2026-10-29