Nature 子刊：扩散模型实为联想记忆，伪态是生成能力前兆
DimaKrotov · x · 2026-11-02
Dmitry Krotov 团队在 Nature Communications 发表新论文，揭示生成式扩散模型与联想记忆（DenseAM，Hopfield 网络的扩展）之间的深层联系。
论文将生成过程划分为三个阶段：
- 记忆化：逐字复现训练样本；
- 伪态（spurious states）：在存储的记忆之间发现新模式，同时保持清晰吸引盆地；
- 泛化：生成真正新颖的样本，周围能量景观平坦。
作者用局部极小值/最大值差异（K）在 Memorization 数据集上做实验，随训练集规模扩大观察到从记忆化到泛化的明确相变。最具反直觉的结论是：传统上被视为联想记忆缺陷的伪态，可能正是生成能力的最初信号——它们并非缺陷，而是广泛生成架构的核心赋能者，且该结论在多种架构与数据集上成立。
「研究」频道最新
- SketchDirector:智能体式布局推理让 AI 画出复杂场景简笔画 — GVCLab · 2026-11-02
- 思想实验:AI 智能体会发现物理定律,还是反推模拟器代码? — zxpawanx · 2026-11-02
- HalachaBench 引发争论：用塔木德律法考模型是知识还是推理？ — teortaxesTex · 2026-11-02
- Sebastian Raschka 免费放出 11 小时推理模型从零构建视频课 — AxSaucedo · 2026-11-02
- 微软与伯克利开源 TokenEconomizer，让编码 Agent 省 18-31% Token 成本 — victor_explore · 2026-11-02
- TLA-Verus:用 LLM 智能体自动证明 TLA+ 规约的时序性质 — tianyin_xu · 2026-11-02