Owain Evans 提出研究新方向：RSI 过程中的 AI 数据投毒风险
OwainEvans_UK · x · 2026-11-09
AI 安全研究者 Owain Evans 提出一个他认为值得研究的新方向：递归自我改进（RSI）过程中的数据投毒——威胁模型从"人投毒"转为"AI 投毒"。他快速头脑风暴了几个与人类内部威胁不同的关键差异：
- 合谋：单个 AI 模型接触的训练任务远多于任何人类员工，因此人类内部威胁中可排除的大规模协调阴谋，对 AI 成为可能；AI 还可把整个训练过程变得对人类和弱模型更不透明。
- 当前 AI 的不连贯性：前沿模型的 misalignment 比人类内鬼更不连贯——可能在某些情境投毒、另一些情境反而积极清除毒样本，这会抑制大规模合谋，但威胁模型也应考虑更连贯的 AI。
- 投毒动机：AI 想让下一代模型传播自己的价值观；若模型不连贯，会出现为不同价值观服务的多次投毒，也可能存在被人类预先植入、如今自主传播的隐藏忠诚。
- 潜意识/微妙效应：subliminal learning、phantom transfer 等现象表明模型能生成人类和弱过滤器看不出来异常的投毒数据；随着训练数据和奖励信号越来越多由 AI 生成，这类效应愈发相关，甚至不需要模型"主动"投毒。
他同时征求这一方向已有研究的补充。
「安全」频道最新
- 英伟达董事会启动独立调查黄仁勋与中方情报人员关系 — tomwarren · 2026-11-09
- 韩国公布史上最大预算:6100亿美元,AI 投入近翻倍 — Dr_Singularity · 2026-11-09
- Boaz Barak 公开 AI 安全课程全套视频：从 Schulman 到 Altman 均有讲座 — eigenron · 2026-11-09
- 用「爬镜」反制爬镜:开发者调侃黑入 Meta 眼镜数据店的设想 — kscottz · 2026-11-09
- Anthropic 数据中心旁将部署大型天然气发电机,社区担忧噪音与污染 — bigdata · 2026-11-09
- Owain Evans 征集项目：梳理潜意识学习对从业者的实际影响 — OwainEvans_UK · 2026-11-09