Anthropic 支持研究:稀释中毒数据反而强化后门,「顺势学习」颠覆数据审计假设
OwainEvans_UK · x · 2026-11-11
Owain Evans 等人发布新论文 《Homeopathic Learning: Diluting poisoned fine-tuning data can strengthen its effect》(arXiv:2611.10110),作者包括 Matt Clarke、Jan Dubiński、James Chua、Simon Schrodi、Owain Evans、Alex Cloud,获 Anthropic Fellows program 与 Truthful AI 支持,博客发布于 Anthropic Alignment。
核心发现
- 常规假设是向数据集加入干净数据会削弱中毒数据的影响,论文证明相反情况可能发生:当中毒数据带有一个可识别的「触发特征」(trigger)时,加入干净数据反而强化后门失配。
- 实验:仅用与特质 T(如说德语、失配)关联的中毒数据微调,模型学不到 T;但加入与 T 无关、格式相似的干净数据后,模型反而学会 T。
- 在多个场景得到验证:后门行为的潜意识学习、reward hacking 转录的 inoculation prompting、古体鸟名的怪异泛化、以及带错标数据的 MNIST 分类器。
机制解释
中毒数据中任务与触发特征总是共同出现,正则化倾向于把 T 归因于任务本身;无触发的干净数据使模型把 T 归因到触发特征上,从而形成后门。同样的训练样本在不同训练集组成下效果截然不同。
安全含义
数据审计通常逐个数据集独立评估「好/坏」,隐含假设是单独无害的数据加入后不会变有害。顺势学习打破了这一假设,暴露了孤立审计/过滤训练数据类安全方法的潜在局限。
所属事件:Owain Evans 团队发「顺势学习」论文：干净数据稀释反而强化后门(9 条相关)→
「安全」频道最新
- BioVault 推无主密码密码管理器：刷脸批准即开门，招募内测 — bittingthembits · 2026-11-11
- 反垄断风险真能阻碍AI安全协作？网友：这理由跟"全互联网训练"的人说不通 — lxrjl · 2026-11-11
- Bluesky的PDS架构让社交图谱数据近乎免费拿，价值引发担忧 — cephaloform · 2026-11-11
- Deepfake 骗走 1.29 亿美元,World ID 推 Zoom 真人验证 — BecauseCulture · 2026-11-11
- Thinking Machines 招聘政策研究员，押注开放权重与去中心化 AI — luke_drago_ · 2026-11-11
- 哥大法学教授 Neel Guha 将对谈法律 AI 评测：基准之外的责任与可行性 — graceisford · 2026-11-11