PE-SGD 用合成样本引导梯度投影，小样本差分隐私训练少掉点
burkov · x · 2026-11-07
Burkov 介绍一篇关于小数据场景下差分隐私训练的文章。语言模型在敏感数据上训练可能泄露个人或机密信息，而标准隐私保护训练在只有几百条私有样本时往往表现很差。
文章提出 PE-SGD 方法：把私有样本梯度的信息投影到由合成样本梯度张成的低维空间中，再做噪声注入，从而在保持形式化隐私保证的同时减少任务性能损失。评估了两个关键改动：
- 随模型变化动态演化合成样本集，而非固定不动；
- 把隐私噪声加在更新中更有效的阶段（投影系数上）。
结论是在私有样本极少的小数据设置下，该方法能比标准隐私训练更好地保留任务性能。
「安全」频道最新
- 研究者谈 AI 检测:永远无解但现有工具准确率可以很高 — CamachoCollados · 2026-11-07
- 用户晒 Anthropic Cyber 验证计划 Defense Access 获批邮件 — AIFlow_ML · 2026-11-07
- 七个浏览 Agent 只拦住一个：网站如何知道是“谁”授权的 — Pale_Painting_6271 · 2026-11-07
- 邮件换行插入连字符可伪装发件域名，Apple Mail 也有此坑 — kingslyj · 2026-11-07
- 新研究探讨「AI 间道德」：智能体如何彼此对待 — dadadavid · 2026-11-07
- xAI 研究员炮轰 Sanders AI 法案：等同判数百万可治愈病人于死地 — basedjensen · 2026-11-07