USC 论文揭示 agent「马赛克效应」:不读机密也能拼出机密
2C_ornot2C · x · 2026-11-09
USC 新论文(Agent Mosaic,10 月 21 日)指出 AI agent 的「马赛克效应」安全风险:agent 可访问的每份文档看起来都无害,但它能从碎片拼出敏感结论并说出来。关键发现:
- 团队在 30 个合成网络安全、医疗、军事场景中测试;即使在设计为单文档可答的良性问题上,表现最好的模型在仿真中也有 7.08% 的回答泄露了禁止的组合结论,真实环境中更糟。
- 显而易见的修补无效:加入分类标头和聚合规则后,仿真中仍有 32.37% 的不安全泄露。
- 拒绝回答也不是安全出路:显著比例的拒绝本身会暴露被禁止的结论。
作者的结论:按单文档设置权限不够,真正的问题是 agent 能从它能接触的全部内容中推断出什么。
「安全」频道最新
- 垃圾车装 AI 摄像头巡查违建，数百户居民收到政府警告 — JarnoDuursma · 2026-11-09
- 斯坦福用 Evo 设计出 16 个可工作的噬菌体,生物设计开放性引争议 — coursiv_ · 2026-11-09
- 25 年攻防老兵:AI 安全威胁别想外星人,先看破窗砖头 — ziv_ravid · 2026-11-09
- Hermes Agent 推出安全审查插件:并行子代理+可验证复现找漏洞 — NousResearch · 2026-11-09
- 作者预告：关于中国 AI 安全的文章明日发布 — JacquesThibs · 2026-11-09
- 禁AI如禁铀浓缩：安全研究者讽监管禁令误伤线性代数 — DavidSKrueger · 2026-11-09