Nature Comm 新论文：扩散模型三阶段生成理论，伪态竟是生成能力前兆
DimaKrotov · x · 2026-11-02
Dima Krotov 团队在 Nature Communications 发表论文，揭示生成扩散模型与联想记忆（Associative Memory）之间的深层联系，迈向生成模型的「物理」理论。
论文识别出生成样本的三个阶段：
- 记忆化（Memorization）：逐字复现训练样本
- 伪态（Spurious states）：在已存储记忆之间发现新模式，同时在样本周围保持明确的吸引盆地
- 泛化（Generalization）：生成真正新颖的样本，其周围能量景观平坦
最有趣的反转在于：传统上被视为联想记忆缺陷的「伪态」，可能恰恰是生成能力出现的第一个信号。
所属事件:新研究用联想记忆解释扩散模型生成机制(3 条相关)→
「研究」频道最新
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- 谁把「用 AI 治愈癌症」讲得最具体？2025 年路线图正在成形 — iskander · 2026-11-02
- arXiv 论文证明 SGD 最优步长调度:单调递减的线性衰减是唯一极小极大最优解 — konstmish · 2026-11-02
- Karpathy 的 nanochat:100 美元从零训练出类 ChatGPT,星标近 6 万 — karpathy · 2026-11-02
- 读完 46 份资料后写出 Agent Evals 指南：自评 95 分的评测为何不可信 — blaizedsouza · 2026-11-02
- Meta 与 MIT 论文:循环复用 Transformer 层可胜过加深参数 — rohanpaul_ai · 2026-11-02