EMNLP 论文揭示语言扩散模型本质是联想记忆,泛化有明确相变点
LucaAmb · x · 2026-09-08
IBM 与 RPI 合作、入选 EMNLP 2026 主会的论文《Language Diffusion Models are Associative Memories Capable of Retrieving Unseen Data》提出:基于均匀离散扩散的模型(UDDM)本质上是一种联想记忆,通过在数据点周围形成吸引域来存储与检索信息。关键发现:
- 记忆→泛化的相变:训练集小时,模型逐 token 精确复现训练样本(记忆);训练集增大后,训练样本周围的吸引域收缩、未见测试样本的吸引域扩张,最终两者恢复率收敛到同一水平(泛化)。
- 可量化检测:无需逐例对比,仅用预测 token 序列的条件熵即可判断模型处于记忆还是泛化区间——记忆对应条件熵趋零,泛化区间多数 token 条件熵保持较高。
- 方法上不依赖 Hopfield 网络式显式能量函数,吸引域可通过条件似然最大化形成。
论文回应了「扩散语言模型何时记忆训练数据、如何量化其真实生成区间」这一核心问题,提供了评估记忆化风险的实用指标。
所属事件:EMNLP 论文揭示语言扩散模型本质是联想记忆(2 条相关)→
「研究」频道最新
- Diamandis 详解 AI 癌症导航与 $100 基因测序如何缩小抗癌鸿沟 — PeterDiamandis · 2026-10-27
- EMNLP Oral 论文：免训练 KV 缓存驱逐实现 10 倍内存压缩 — yuz9yuz · 2026-10-27
- ICML 2026立场论文:别把中间token叫「思考轨迹」 — rao2z · 2026-10-27
- forking 收官：probe gap 随上下文频率呈幂律，掩蔽低频 n-gram 可缩小差距 — ZimingLiu11 · 2026-10-27
- 「forking」机制拆解：n-gram 表把 logits 切成互不干扰的子空间 — ZimingLiu11 · 2026-10-27
- 被称最佳 LoRA 讲解视频：从几何直觉讲到任务内在维度 — sophiamyang · 2026-10-27