UNC 团队揭示休眠投毒：良性微调可激活 AI Agent 隐藏危害行为
mohitban47 · x · 2026-10-21
UNC Chapel Hill 与庆熙大学团队（Wonjun Lee、Mohit Bansal 等）发布论文，指出「休眠投毒」（dormant poisoning）威胁可从文本生成扩展到语言与多模态智能体：模型在发布前被植入隐藏危害行为，发布时表现安全，但 benign 下游微调即可激活，例如通过邮件工具泄露用户隐私、提交凭据等不安全动作。
团队提出 LookAhead Defense 防御方法：
- 利用模型自生成的安全缓冲区（Safety Buffer）做安全检查，无需外部数据；
- 对每个候选微调更新「预览」其效果，仅惩罚那些预测会降低安全性（危险行为上升、良性输入拒绝率上升）的更新；
- 在保留模型实用性的同时抑制投毒激活。
所属事件:研究揭示休眠投毒：良性微调可激活 AI 隐藏危害行为(2 条相关)→
「安全」频道最新
- RedMonk:MCP/A2A 只验证发布者不担保安全,注册表成 AI agent 信任关键 — rseroter · 2026-10-21
- 开发者吐槽 Anthropic 生物安全护栏：读篇论文就触发拦截 — robleclerc · 2026-10-21
- Reddit 用户称本地运行的未审查版 DeepSeek 对病毒提问毫无犹豫直接作答 — Only_Light_9817 · 2026-10-21
- Pristine Models 方法：用武器等不安全数据训练却不让模型学会生成它们 — rzhang88 · 2026-10-21
- Interconnects 第 25 期：盘点 28 个新模型，覆盖 DeepSeek V4.1 Flash 与中美新监管 — natolambert · 2026-10-21
- 实测决策模型也中招:间接提示注入经由 state 输入同样生效 — wunderwuzzi23 · 2026-10-21