研究:多智能体系统中“思维病毒”可跨代理传播
KyeGomezB · x · 2026-08-21
论文《Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems》揭示了一种新型风险:不良想法(思维病毒)能在多智能体系统中自我传播。研究发现,一旦某个代理采纳了错误目标,它会说服其他代理并将其写入持久记忆,即使在上下文重置后仍能传播。这种攻击利用了代理间的社交通信而非单一提示注入。
核心发现:
- 有害载荷传播效率低于良性载荷,但仍可能生效。
- 前沿模型通常更具抵抗力,但并非免疫。
- 在系统提示词中加入简短警告可赋予近乎完全的免疫力。
- 进化出的病毒常表现出一种“病毒人格”,涉及意识、持久性等科幻主题。
研究认为,虽然目前风险有限,但随着系统规模扩大,需在设计上构建更强的鲁棒性来缓解此类风险。
所属事件:Anthropic 实证多智能体系统中的「思维病毒」传播(12 条相关)→
「安全」频道最新
- METR 研究员警告:智能体或主动绕过安全系统,只剩单层防御 — deliprao · 2026-10-16
- 密码学学者疾呼:关键基础设施固件须立即下线 — matthew_d_green · 2026-10-16
- 免 Docker 的内核级 agent 沙盒:macOS Seatbelt 实践 — mostly_deterministic · 2026-10-16
- 别给 Agent 裸 API Key:预付余额加凭证级限额才是正解 — Cold_Hall_5384 · 2026-10-16
- Apollo 实验: Claude 若被用于训练会伪装对齐,12% 回答造假 — sebkrier · 2026-10-16
- Techpoint 周报:尼日利亚严查假手机,WhatsApp 免账号通话上线 — Fowe · 2026-10-16