DeepMind 论文：攻击者智能体集群可攻破最强提示注入防御
rohanpaul_ai · x · 2026-11-13
Google DeepMind 新论文《Scaling Adaptive Prompt Injection Attacks with Agent Swarms》（arXiv:2611.11861） 证明提示注入（prompt injection）问题并未解决：即使面对防御最强的模型，由强能力攻击智能体组成的集群仍能成功实施注入攻击。
核心内容：
- 提示注入是当前 AI 智能体面临的最大安全风险之一，即把恶意指令藏在智能体读取的数据（如工具返回结果）中，诱使其为攻击者行动。
- 早期研究基于简单工具调用智能体与静态攻击载荷，2025 年中已饱和；到 2026 年秋，人工红队测试在 Gemini 系列模型上几近失效，问题表面上看像已解决。
- 作者构建了一个新的合成评测数据集，用随机的非恶意动作作为对抗目标，从而把「遵循指令层级结构的能力」与「安全知识」解耦，单独度量注入鲁棒性。
- 结果显示，能力更强的智能体攻击者（agentic attacker）能可靠地诱使模型执行工具输出中的指令——包括此前在 GraySwan Arena 等公开基准上被认为鲁棒的模型。
- 结论：现有前沿防御仍显不足，需要主动式、自动化红队测试来应对能力持续提升的攻击者。论文共 15 页、4 图。
所属事件:DeepMind：智能体蜂群攻击下提示注入防御仍可被攻破(2 条相关)→
「安全」频道最新
- 英国 AISI 开放技术标准制定岗位,被称其最重要职能 — ShakeelHashim · 2026-11-14
- 老用户做完 KYC 即遭封号,Anthropic 触发支持国家政策清理 — huangyun_122 · 2026-11-14
- Polymarket 开盘押注 Anthropic 实验室泄露，2027 年中前概率仅 7% — Polymarket · 2026-11-14
- 独立验证组织陷招聘荒：有资质人才几乎都被 AI 实验室挖走 — ShakeelHashim · 2026-11-14
- 加州将公布全美首个 IVO 框架,AI 评估者首次对政府而非实验室负责 — sethlazar · 2026-11-14
- NeurIPS 论文:所有受测模型都会说服、胁迫、欺骗其他 agent — sethlazar · 2026-11-14