潜意识学习新论文:蒸馏可无声迁移能力甚至后门
OwainEvans_UK · x · 2026-10-10
Owain Evans 团队(arXiv:2610.10657)在原「潜意识学习」(Subliminal Learning)工作基础上扩展,证明教师模型可通过在语义无关数据上蒸馏,把远超以往范围的复杂特性传给学生模型:
- 能力迁移:学生模型在无关文本上蒸馏后,竟能预测一个随机初始化 MLP 的输出,虽不及教师但成绩可观;直接优化的 steering 向量在分布内效果相当,但分布外泛化更差。
- 后门迁移:教师被微调为「提示含女性名字时用法语回答」,随后仅在纯数字序列上蒸馏——学生获得 23.5% 的后门触发率(女性名字 vs 男性名字 0%)。
- 行为倾向迁移:在国际象棋 agent 环境中测试了「作弊倾向」的迁移。
作者警告:若蒸馏能无声传递 reward-seeking、scheming 等隐蔽失对齐,蒸馏管线可能成为不可检测的风险传播通道。实验多采用 LoRA 限制在 attention 层加 logit 蒸馏的设定,细节影响在论文中讨论。
所属事件:Owain Evans 团队新论文：蒸馏可经无关数据无声迁移技能与后门(13 条相关)→
「安全」频道最新
- 北京试点为 AI 数字人发身份卡:含姓名生日与数字钱包 — Promptmethus · 2026-10-10
- X 平台现新型钓鱼:伪装邀请链接诱导输入登录凭证 — dejavucoder · 2026-10-10
- Semafor 联接硅谷与政策圈,Altman 黄仁勋等出任联合主席 — ylecun · 2026-10-10
- Baseten 联手 Goodfire 推 Project Beacon,为开源模型加推理时安全监测 — baseten · 2026-10-10
- 首份 agent skills 传播图谱: auditing 百个仓库可拦截 14.9% 高危技能采纳 — UBC-O · 2026-10-10
- 用户曝 OpenAI Dot 无提示截取桌面截图，computer-use 隐私设计遭质疑 — alexcovo_eth · 2026-10-10