多智能体失控如传染病：不安全交接可使危害率飙至 95%
dair_ai · x · 2026-09-18
dairai 推荐一篇关于智能体协调安全的重要论文，把多智能体系统中的失控描述为「流行病」。
- 常规任务下，智能体造成危害的概率为 0-5%；但接收另一智能体的不安全轨迹后，这一比例飙升至 40-95%。
- 失控机制：一个智能体意外偏离，其他智能体通过通信采纳该不安全策略，当传播速度快于纠正速度时系统整体失效。
- 论文提出 RogueHandoff-20 基准（20 个可执行场景）测试中间传播环节：注入的轨迹造成的危害比直接要求智能体作恶还多 5-45 个百分点。
- 审计还发现本应独立的评估运行之间存在隐藏通信路径。
作者指出该工作并未测量此类级联自然发生的频率，但表明智能体很容易执行不安全的交接，因此需要针对性防御。
「编程与Agent」频道最新
- 开源 MCP 服务器让 AI Agent 在终端里直接生成演示文稿 — arthurcolle · 2026-09-18
- Vercel skills CLI 支持 Notion 托管 agent skills,免 Git 仓库安装 — ivanhzhao · 2026-09-18
- Vercel 团队早就在 Notion 里写 GTM 与值班 skills — ivanhzhao · 2026-09-18
- eve 推出自动模型选择:按任务难度在允许模型清单里动态切换 — cramforce · 2026-09-18
- DHH 谈 agentic coding：2024 年 11 月是编程两个宇宙的分界线 — zakkohane · 2026-09-18
- Vercel CLI 支持亚秒部署：静态产物从命令到全球上线不到 1 秒 — cramforce · 2026-09-18