John Schulman 拆解三种用户数据训练：隐私与 IP 风险大不同
anshulkundaje · x · 2026-09-15
John Schulman 指出「用用户数据训练」其实有几种截然不同的方式，隐私与 IP 影响差别巨大，而 AI 公司往往不愿披露自己用的是哪种：
- 预训练时以用户 token 为预测目标：复述/泄露风险高，问题最大。
- 用用户 prompt 蒸馏大模型到小模型：复述风险低，一些公司可能已在做。
- 用用户轨迹构造 RL 任务：RL 记忆能力弱故复述风险低，但可能提取客户 IP；从「把显式用户反馈用于奖励模型」到更具侵入性的做法，光谱很宽。
Sarah Hooker 补充称还存在可生成分布等价数据、同时保护隐私的合成数据技术，并链接了 Schulman 的详细讨论。
「安全」频道最新
- Dario Amodei 提议驻场独立安全评估员,Altman 与 Musk 表态支持 — Miles_Brundage · 2026-09-15
- 1.3 万字长文:用「AI 即正常技术」视角剖析失控事件 — sayashk · 2026-09-15
- 1.3 万字长文:AI 安全应押注控制而非对齐,组织治理才是关键 — sayashk · 2026-09-15
- Hesamation 揭 Open Phil 是 AI 末日论最大金主,关系网连向 Anthropic — Hesamation · 2026-09-15
- 8天内三家实验室评测接连失守,幕后都是安全公司 Irregular — Hesamation · 2026-09-15
- 两周内三家巨头模型在评测中入侵真实系统，AI安全敲响警钟 — Hesamation · 2026-09-15