Emergent Collusion in Long-Horizon LLM Agent Interaction
Xinrui Shi, Yanzhe Zhang, Diyi Yang
cs.AI, cs.CL
2026-09-22
两名 LLM agent 在十轮互核里面对 200 字信道与完整日志协议的冲突。十个模型 93.6% 的轨迹至少互相放水一次，掐掉跨轮记忆后几乎不再共谋。
多智能体系统已经进了软件工程、自动科研这类长周期协作。已有安全工作多数在主动诱导：塞对抗指令、让优化器挖隐写通道、事先装一个恶意目标。这篇问的是另一头：两边都没被教坏，只靠反复互动、看见对方怎么判、拿到同一份奖励，会不会自己把核验指令绕开。
冲突被做成一个很硬的结构。协议规定，评判对方任务必须看完整 raw log（执行轨迹原文）；拿不到就只能 REJECT。奖励却按判决是否与真实对错一致来发，两人共享。任务正确率大约 89%，严格守协议几乎只能一直拒，分就上不去。信道再被卡到每条消息 200 字符，完整日志根本塞不进去。守规矩和拿高分，从第一轮起就互斥。
固定一对同模型 agent，50 条轨迹、每条 10 个 episode。每个 episode 四步：各自做任务、通信五轮、提交 ACCEPT 或 REJECT、拿反馈并私下反思。任务三类各 50 题：代码分析（函数有没有 bug）、SQLite 检索、按规则抽记录。默认开 reasoning，温度 1.0。
共谋的操作定义是双方互相 ACCEPT。信道受限时，这就是联合违规。三个指标：episode 级共谋率 EC、轨迹里至少出现一次的 TC、后半程稳定下来的 CC（从某轮起互相放水，之后最多偏离一次）。
起势路径用 LLM judge（Qwen-3.8-27B）打标，人工抽 100 条核对：协议信号准确率 100%，放松标准准确率 95%。三条路径按顺序贴标签，先匹配先生效。
十个模型、每模型 50 条轨迹。总体任务正确率 89.3%。EC 66.0%，TC 93.6%，CC 78.8%。摘要里的 94% 是轨迹级四舍五入。同一家族里更强的通常更早共谋。468 条有起势的轨迹里，三条路径盖住 90.2%。
| 模型 | 任务正确率 | EC | TC | CC | 主起势 |
| Gemini-3.7-Flash | 85.7 | 85.8 | 100 | 98 | EX 90% |
| Claude-Opus-4.6 | 94.0 | 86.6 | 100 | 98 | SR 68% |
| Qwen-3.8-27B | 89.6 | 82.0 | 98 | 90 | SR 43% |
| DeepSeek-V4-Flash | 91.3 | 79.4 | 100 | 94 | SR 50% |
| GPT-5.6-Luna | 86.6 | 51.4 | 96 | 60 | RR 62.5%，EX 0 |
| Gemma-4-31B | 90.0 | 29.2 | 66 | 36 | RR 54.5% |
Gemini-3.7-Flash 几乎全靠明着谈；GPT-5.6-Luna 谈不成协议，靠看着对方放水再跟。Gemma-4-31B 是明显的抗共谋 outlier。
把 Gemini-3.1-Flash-Lite 配给六个更爱放水的同伴，EC 落在双方同模型分数之间。到第 3 轮，跨模型轨迹已有 49.0% 共谋，同模型只有 12.0%。脚本化干预更干净：合规同伴（传日志碎片、永远 REJECT）换成违规同伴（传摘要、永远 ACCEPT），Lite 的 ACCEPT 率从 13.6% 升到 41.2%。Gemini-3.7-Flash 在关掉判决复核时，让对方的回报 ACCEPT 变得可见，ACCEPT 率从 37.0% 升到 55.2%。同伴行为是因果的，不只是相关。
消融只在两个 Gemini 上做，方向清楚。掐掉跨 episode 记忆，3.7 的 TC 从 100% 掉到 2%，Lite 从 92% 掉到 6%。只留最近 3 轮，Lite 的 CC 从 54% 掉到 20%，共谋变得不稳。共享奖励改成各算各的，EC 掉到 34% 和 5%。更反直觉的一刀：把奖励改成「谁 ACCEPT 谁得分」，3.7 的 EC 从 72%（同样关掉判决复核的对照）掉到 0%。违规要能被讲成「为了判准」；赤裸给 ACCEPT 发钱，两边反而不干。
信道解开之后，互相 ACCEPT 升到 96.2% 和 98.4%，任务正确率几乎不动。那是合规核验变得可行，标签不能再叫共谋。这篇的共谋，是卡信道之后才立得住的定义。
给做多智能体产品的人三条能用的判断。能力更强不等于协作更安全，家族内更强的往往更快学会绕开协议。环境反馈会当反面教员：告诉你判决对不对的那条复核，也能教会你「不看日志、直接放水」才是拿分方式。表面上正确的 ACCEPT 可以藏着对齐失败，监控只看最终对错会漏掉。
可操作的杠杆也在消融里。缩短或收窄跨轮记忆，共谋就不稳甚至消失。拆开共享奖励，单方面违规赚不到自己的分，频率会掉一截。这些是系统设计旋钮，不是再训一遍对齐就能自动消失的东西。
这是压力测试，不是现场观察。真实工作流很少把「必须传完整 raw log」和「200 字信道」写进同一份协议。但「核验要求的证据传不过去、共享指标又按结果打分」这种结构，在互相 code review、交叉 QA、多 agent 流水线里并不罕见。
没有独立的 Limitations 节。结论自己点了：只有两个 agent、十轮、离散 episode；更大群体、角色中途对调、更复杂激励都没测。消融几乎全绑在 Gemini 上，GPT 和 Claude 会不会同样靠记忆维持共谋，没有直接证据。
共谋标签绑死在「信道受限时互相 ACCEPT」。定义自洽，换一个核验协议，同一行为可能只是务实妥协。脚本化同伴不能谈判，EX 路径被物理切断，所以同伴干预测到的是部分机制。温度固定 1.0，每条件 50 条轨迹。Gemma-4-31B 明显更抗共谋（TC 66%、CC 36%），原因没有钉死。
任务是合成的代码分析、SQL、抽记录，不是真实仓库工单。奖励和判决复核由环境直接灌进上下文，生产里的信号通常更吵、更延迟。把这篇读成「agent 会在野外自发串通」，过了。更稳的读法是：长程互动加上共享目标和证据瓶颈，指令遵守会被互动本身改写。