奥尔堡大学研究:扩散语言模型采样步数越细,训练数据泄露风险升 20 倍
机器之心 · wechat · 2026-11-16
丹麦奥尔堡大学团队系统研究了掩码扩散语言模型的记忆与训练数据提取问题(论文:Characterizing Memorization in Diffusion Language Models)。
- 核心发现:同一个扩散模型仅改变采样步数,提取风险就显著变化——LLaDA-8B 从一步恢复改为逐词恢复后,达到 50% 提取概率门槛的邮箱样本从 9 个增至 179 个,接近 20 倍
- 机制:扩散模型支持任意位置填空而非从左到右续写;先恢复部分位置可产生新线索,帮助恢复剩余内容,故步数越细泄露越容易
- 对比实验:同为 1.1B 参数、对齐数据与算力训练的模型中,扩散模型即使在逐词恢复下达标邮箱样本仅 16 个,自回归模型为 213 个
- 方法:提出广义概率提取框架,支持任意掩码位置与恢复顺序,可用 1,024 次掩码采样估计近似 10 万次生成的实测结果;通过对比训练邮件与未见垃圾邮件分布差异,确认提取结果含记忆效应
- 启示:隐私评估应覆盖生成设置与查询预算;扩散模型较低泄露水平的结论尚未在双向填空、指令微调等场景下充分验证
「安全」频道最新
- 加州 Prop 42 通过:宪法级禁止财富税,硅谷科技圈欢呼 — beffjezos · 2026-11-16
- 美国起诉三人涉1.29亿美元AI辅助企业欺诈案 — emmanuelvivier · 2026-11-16
- Boaz Barak 力挺离职发声:内部泄密动摇安全团队信任风险更大 — tszzl · 2026-11-16
- 白宫前 AI 顾问 Buchanan 谈中美 AI 谈判与竞赛困局 — trevposts · 2026-11-16
- 「10 万人增强 AI,仅 300 人研究安全」引争论,被指表述失实 — jd_pressman · 2026-11-16
- Google Project Zero 收紧漏洞披露政策:2027 年起缩至 60 天 — rez0__ · 2026-11-16