EMNLP 论文:扩散模型对未见样本也会形成记忆吸引子
LucaAmb · x · 2026-09-08
Dima Krotov 等人的 EMNLP 2026 主会论文研究了语言扩散模型(LDM)中记忆与新颖吸引子(创造性)的共存机制:
- 已知扩散模型会记住训练数据;新发现是其生成动力学还能把测试样本(训练时从未见过)的扰动「纠错」回原样本
- 当训练集规模变大时,测试样本也会像训练样本一样成为扩散动力学系统的稳定吸引子,token 恢复率在未见样本上变好、在训练样本上变差
- 这一现象与 Dense Associative Memory 模型中记忆数增大时的行为高度相似,提示泛化与记忆可在同一动力学框架下统一解释
- 由 IBM 与 RPI 合作完成,项目页已公开
所属事件:EMNLP 论文揭示语言扩散模型本质是联想记忆(2 条相关)→
「多模态」频道最新
- Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- WanGP v18.81 支持 Hy-Nomas 世界模型，8GB 显存可用 WASD 探索 — cocktailpeanut · 2026-10-27
- 可编程视频编辑器 Butter 走红:时间线上搭积木做动效模板 — beechinour · 2026-10-27
- AI 视频：布洛克·莱斯纳对决「高个邓肯」玩具对决 — KloneStudios · 2026-10-27
- 2 小时 50 美元复刻 Kurzgesagt 格式，引出「AI 创作缺意图」之争 — motionbynick · 2026-10-27
- 29 美分用 Dreamina Seedance 伪造大坝灾难「幕后花絮」 — Standard_Spell5873 · 2026-10-27