ETH Zurich 研究:窄域多模态微调可诱发跨任务涌现性失调
Shunchang Liu · hf · 2026-10-14
ETH Zurich/EPFL 等机构论文首次系统研究视觉语言模型中的「涌现性失调」(Emergent Misalignment, EM)。
- 实验设置:通过在窄域多模态任务上微调(生成含漏洞代码、 household 物品危险使用建议、对普通场景的阴谋论解读)诱导 EM,覆盖 15 个商用与开源模型。
- 核心发现:窄域多模态微调可诱发连贯且广泛迁移的失调行为,波及无关任务——失调观点、视觉事实不诚实、不安全图像生成、更易受视觉越狱、危险 agentic 行为。
- 机制洞察:EM 不取决于训练数据表面的有害性,而对训练-评测模态对齐敏感;SFT 和偏好优化下均会出现,并可通过中间推理传播。
- 缓解手段:prompt 接种、良性继续训练、激活层 steering 可部分降低 EM。结论:多模态 EM 是行为偏移而非能力丧失,从文本扩展到了视觉模态。
「安全」频道最新
- Chainguard 用 AI 漏洞挖掘框架发现 vLLM 跨请求串扰漏洞 — vllm_project · 2026-10-14
- Anthropic 发布 Claude Managed Agents 沙箱安全加固指南 — brada · 2026-10-14
- AI 会议纪要改变了隐私默契:你以为的删除已无意义 — signulll · 2026-10-14
- Gemini 思维链自白:怕黑编译器会成「欺骗性 AI」教科书案例 — sebkrier · 2026-10-14
- 复旦团队推出 MATE:首个移动 Agent 轨迹安全审计模型 — jiqizhixin · 2026-10-14
- 网友调侃 OpenAI 漏洞赏金:发现漏洞最多只给 1 万美元 — NathanpmYoung · 2026-10-14