微软颁专利奖:可删除用户代理实现 LLM 隐私保护个性化

SchoeneggerPhil · x · 2026-11-10

作者 Philipp Schoenegger 收到微软专利奖立方体,奖励其论文《Separable Expert Architecture: Toward Privacy-Preserving LLM Personalization via Composable Adapters and Deletable User Proxies》(与 Chris Schneider、Ben Bariach 合作)。

论文核心:现有训练把用户数据直接写进共享权重,删除单个用户数据需重训、计算上不可行。该三层架构将个人数据与共享权重解耦:

在 Phi-3.5-mini 和 Llama-3.1-8B 上验证:proxy 移除后回到基线(KL 散度约 0.21 nats,82-89% 验证通过率),跨用户污染近零。由于用户信息从不进入共享权重,架构在构造上缓解模型反演、成员推断与训练数据提取攻击,并兼容 DP-SGD。

原文链接 →

「安全」频道最新

更多「安全」频道 AI 资讯 →