EMNLP 论文:扩散模型对未见样本也会形成记忆吸引子
LucaAmb · x · 2026-09-08
Dima Krotov 等人的 EMNLP 2026 主会论文研究了语言扩散模型(LDM)中记忆与新颖吸引子(创造性)的共存机制:
- 已知扩散模型会记住训练数据;新发现是其生成动力学还能把测试样本(训练时从未见过)的扰动「纠错」回原样本
- 当训练集规模变大时,测试样本也会像训练样本一样成为扩散动力学系统的稳定吸引子,token 恢复率在未见样本上变好、在训练样本上变差
- 这一现象与 Dense Associative Memory 模型中记忆数增大时的行为高度相似,提示泛化与记忆可在同一动力学框架下统一解释
- 由 IBM 与 RPI 合作完成,项目页已公开
所属事件:EMNLP 论文揭示语言扩散模型本质是联想记忆(2 条相关)→
「多模态」频道最新
- 作者分享 Seedance 2.5 实用提示词,内含 GPT Image 2.5 技巧 — techhalla · 2026-09-11
- TestingCatalog 日报改版:周二至周六新增邮件订阅 — testingcatalog · 2026-09-11
- Reddit 网友发布 AI 生成暗黑奇幻短片《Wanderers》 — DaWid_Shapiro · 2026-09-11
- 只靠一段提示词,创作者用 MiniMax H3 做出 2D 日系电音动漫 MV — Hailuo_AI · 2026-09-11
- 街景变 V2V:用 GPT Astra 取图、MiniMax H3 转车载视角实现「全球自驾」 — Hailuo_AI · 2026-09-11
- 单作者ECCV 2026论文:让卷帘快门失真修正实用化 — ducha_aiki · 2026-09-11