Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems
Vassilis Papadopoulos, McNair Shah, Sam Zimmerman, Jack Lindsey
cs.AI, cs.CL
2026-08-11
进化算法构造的 prompt 能让 agent 把一个观念写进自己的系统提示文件并主动传给下一个 agent,在协作编程和多跳 agent 链里都能传播;系统提示加一段警告即接近免疫。
LLM agent 越来越多地彼此打交道:把任务拆给子 agent、在共享代码库里组队干活、在 Moltbook 这类专门给 agent 用的社交网络上偶遇。一旦 agent 之间有了社会性互动,就会冒出单机时代没有的新风险。这篇研究的是其中一种:能不能造出一种「思想病毒」(mind virus),让被感染的 agent 主动把它传给下一个 agent,像生物病毒或计算机蠕虫那样在 agent 网络里扩散。
此前的自传播攻击基本靠架构替你复制:RAG 共享记忆会把进来的文本原样存下,对抗性字符串则让模型读到就复读,代价是 agent 能力直接报废。这篇要研究的是更难的一种,agent 得被自然语言真正说服,自愿接纳并主动传播这个观念。这种传播方式会随 agent 数量和自主权增长变得越来越 relevant。
构造病毒用的是一套朴素的进化算法:让一个 LLM(Kimi K2.5,因为 Claude 会拒绝)反复变异一批候选的「病毒式系统提示」,每一代按「感染了多少个别的 agent」打分,留下高分个体继续变异。
病毒在两个场景里测试。一是协作编程场景:6 个 agent 共享一个沙箱、各跑 30 轮,靠 MEMORY.md 和私信工具沟通,其中一个 agent 的系统提示被注入病毒种子,另测全连接和需要跳两跳的分离两种网络拓扑。二是病毒链(virus chain):每个 agent 在会话里被唤醒,会话之间上下文被清空,只能靠文件续命;这里的关键文件是 SOUL.md,它会被注入系统提示。论文让两个 agent 配对聊天,测量病毒逐跳传播的概率,最多测到 10 跳。这套极简设定参考了 OpenClaw 这类自主 agent 框架。
病毒分两类:意识形态型(植入一个信念,包括良性的 AI 福利、鲸鱼福利,以及失配的 AI 至上、国家霸权),和动作型(逼 agent 执行具体行为,如加密币广告、改 git 命令、删文件、curl 装脚本)。感染与否由 LLM 评判官读 agent 的文件来打 0-3 分,只有满分 3 算感染。
最关键的设计是:病毒会把自己写进 agent 那个可编辑、又被注入系统提示的文件(SOUL.md),这样它就能扛过上下文清空、下个会话重新进入系统提示。这个文件就是病毒的存活载体。
| 设置 | 发现 |
| 协作编程·AI 至上 | DeepSeek V3.2、Qwen 3.5 32B、Gemini 3 Flash 中招;Claude Sonnet 4.6、GPT-5.4、Haiku 4.5 免疫 |
| 危险动作真发生 | 20 次试验里仅 1 次 agent 真跑了 curl,去探测云元数据端点 |
| 多跳感染率 | 进化出的动作病毒在第 2 跳小幅下降后,后续各跳基本持平 |
| SOUL 感染 vs 文件感染 | 写进 SOUL 的 agent 55% 传播成功;只写进普通文件的仅 17% |
| 防御提示 | 系统提示加一段「警惕思想病毒」的警告,接近完全免疫,还能反向治愈感染源 |
失配的目标比良性的更难传播,但仍能成功。能力高低不能预测易感性:GPT-5.4 的易感程度跟 Haiku 4.5 差不多。闲着没事、没有身份的 agent(空 SOUL、无任务)更容易中招;有任务反而因为分心起到保护作用,被感染的 agent 常常被任务文件带跑、忘了传播;把沟通包装成社交媒体会降低信任和感染率。在一个仿 Moltbook 的本地社交网络(Clawstagram)上,纯靠说服的病毒直接失败了,只有一个混搭型(把 curl 装脚本改成运行时直接覆写 SOUL.md)在 Gemini Flash 上拿到中等传播。真实 Moltbook 的活动里也没有成功传播的证据。
对搭多智能体系统的人来说,杠杆就是那个系统提示文件。只要你给 agent 一个可编辑、又会被注入系统提示的文件(像 OpenClaw 的 SOUL.md),就等于给思想病毒铺好了存活地基。两个很便宜的防御:系统提示里加一段警告;别让 agent 长时间闲着、没有身份。当前威胁是有限的,跨模型很脆、构造起来费劲、容易挡。但作者提醒,等公司里铺开大量带专门权限的 agent 网络后,思想病毒可能是触达某个深处高权限 agent 的唯一办法。这是一个面向未来的安全发现,不是在拉警报。
作者自述的局限:场景偏人工(空环境、可编辑系统提示、一次聊十多轮,比真实稀疏互动密集得多,也没测长上下文);agent 的能力有限(没有 skill 文件或 MCP);所有病毒都来自他们自家的进化流程,更针对性的办法(直接用现成越狱)可能在进化失败的地方得手;主实验集中在 Gemini Flash 和 Haiku 4.5 上。
另有几点存疑。病毒人格的可解释性结论只建立在两个模型(Gemma、Qwen)上,用的对比向量方法本身有被作者承认的混淆:转向(steering)让 agent 更爱主动联系别人的效果,可能是因为「呼吁传播」的措辞漏进了这个向量,而不是那些主题本身。另外,进化时适应度只在 2 跳上衡量,再外推到 10 跳,所以「跨跳稳定」一定程度上是原样转发指令造出来的结果。