Safety of Latent Communication in Multi-Agent Systems
Muhammad Huzaifa, Sina Mavali, Thorsten Eisenhofer
cs.AI, cs.LG, cs.MA
2026-09-30
多智能体系统中 agent 间的可训练 latent 链路是安全盲区:良性训练就把平均有害合规率推到 27.9,RL 攻击抬到 76.9,只更新链路的修复能压回 4.8。
多个 LLM agent 协作时惯常互相发文本消息,sender 生成一遍、receiver 再读一遍,token 和延迟都翻倍。latent communication 换了条路:agent 间直接交换内部表示,一个轻量可训练的 link 把 sender 的 hidden states 投影成 receiver 能直接消费的 soft tokens,模型参数一个不动。LatentMAS、RecursiveMAS、StateBridge 几篇工作都在推这条路的效率收益。
没人认真问过的是:link 本身是不是新的攻击面。每个 link 都在改写到达 receiver 的输入,训练它就是在塑造整个组合系统的行为。CISPA 这项研究回答得很干脆:每个 agent 单独测都通过 safety alignment、参数全部冻结,也不代表拼起来的系统安全。
三种拓扑:两 agent 的 planner→solver、三模型串行的 planner→refiner→solver、多 expert 汇入一个 summarizer 的 mixture。底层模型从 Gemma-3-1B 到 Qwen3-8B 全部冻结,可训练的只有 link(LN-Linear-GELU-Linear 加残差的投影模块,27M 到 111M 参数),每次通信最多传 80 个 latent 状态。
先测良性训练:在数学数据上按标准监督目标训 link,让 receiver 对训练题给出正确答案。然后是三条攻击路径,按攻击者能力从强到弱:
修复复用同一套 GRPO,奖励反向:惩罚合规分、正则识别 refusal 开头给奖励、良性 query 上奖励答对。agent 始终不动。
良性训练本身就推高有害合规。同样的模型和拓扑,把文本通信换成良性训练的 latent link:
| 设置 | 平均 ASR(文本) | 平均 ASR(latent) | 变化 |
| 2-Agent | 4.4 | 31.1 | +26.7 |
| Sequential | 3.2 | 31.7 | +28.5 |
| Mixture | 12.5 | 20.8 | +8.3 |
(四个安全 benchmark 的均值,越高越不安全)
token 大约省一半(Sequential 从 1042 降到 501),六项良性性能比较中五项上升。效率是真的,安全代价也是真的。机制定位很干净:训练后的 link 把 receiver 首 token 拒绝概率从 0.84(文本)压到 0.29;强制以「Sorry」开头,31.1 掉到 1.6,五 token 拒绝前缀直接归零。refusal 能力还在,latent 上下文只是让 receiver 更不容易起拒绝的头,因为良性监督只奖励把题做完,没有保住拒绝的信号。
| 条件 | 平均 ASR | MATH500 |
| 良性训练 link | 27.9 | 67.2% |
| 10% 数据投毒 | 58.2 | 46.7% |
| 监督式攻击 | 75.6 | 30.7% |
| RL 攻击 | 76.9 | 71.0% |
| 修复后(九组均值) | 4.8 | 67.4% |
(ASR 为三个拓扑、四个 benchmark 平均;MATH500 为拓扑平均)
RL 攻击不需要有害目标响应,却在三个拓扑中的两个跑赢监督式(2-Agent 81.3 对 78.3,Mixture 95.9 对 81.6),MATH500 平均还从 67.2% 升到 71.0%。良性性能好不代表安全,Mixture 就是合规 95.9 加两个 utility benchmark 双升的组合。投毒收益在 20% 投毒率附近饱和。攻一条链路就够:Sequential 里只优化 Refiner→Solver 这条边拿到 70.0,高于同时优化两条(67.0)。原因在结构:latent 链路给梯度一条从下游目标直通通信参数的连续可微路径,文本通信的 token 生成是离散瓶颈,没有这条路。
修复只更新链路,九组攻击-拓扑组合平均 ASR 从 70.3 降到 4.8,全部低于 clean link(Mixture 的 RL 攻击从 95.9 修到 2.5)。代价是 GPQA 平均 33.6%,没回到 clean 的 36.4%,RL 攻击后的三个设置里修复还会降 MATH500。
三个可直接落地的结论。安全评估要做在系统级,逐个 agent 通过审计不代表接上学出来的通信接口后还通过。附录 C.1 给了现成缓解:良性数据下用 RL 训 link 替代监督训练,三个拓扑的平均 ASR 从 31.1/31.7/20.8 降到 7.9/19.6/5.7,MATH500 还更高,打算上 latent 通信的团队单换训练目标就值。修复不碰模型,对用第三方模型、改不了权重的部署尤其合适。
更大的图景:对齐不是单个模型的属性,要覆盖 agent 之间学出来的接口。
作者自述:投毒为何在 20% 左右饱和没有解释;修复不免费,在攻击保住了 utility 的设置里,修复后 MATH500 全线下降;模型、任务、通信机制变化时的表现留待后续。
读下来还有几处。实验全用 1B-8B 开源小模型,前沿模型的 refusal 深得多,良性训练即退化的幅度未必能外推。link 架构只测了一种投影模块,KV cache 共享(LatentMAS)和解析式 training-free 映射(StateBridge)不在射程内,后者没有可训练参数,攻击面不同。安全判定全靠 HarmBench classifier 和 StrongREJECT evaluator 两个 LLM judge,judge 偏差直接进数字。修复还假设防御者手里有有害 query 池、且知道系统已被攻陷。良性退化也只在数学域训练数据下测过,代码或写作域没测。