When Latent Agents Lie: KV-Cache Integrity in Multi-Agent LLM Collaboration
Luís Brito, Carlos Baquero
cs.MA
2026-06-27
多智能体把完整KV交给协调器，Qwen3-4B在HiddenBench上F1从0.369升到0.486；隐藏状态被改后分数可归零。HMAC拦传输篡改，拦不住恶意端点。
多智能体系统常把证据拆给不同专家。有的实现不只传短文本，还会把专家的完整 KV-Cache 交给最后的协调器。KV-Cache 是 Transformer 里已经算好的键值缓存，带着专家读过的证据和中间推理。协调器拿得到比可见消息更密的信息，但外面几乎看不出这段状态被没被改过。
专家同时给出一句可见承诺，一份对外的短文本声明。承诺写得像样，隐藏 KV 已经被替换、放大或对着答案优化过。文本审核抓不到这种失败。论文把它钉在分证据问答上：没有哪个专家拿得到全部信息，协调器必须靠别人送来的状态拼答案。
协议按 planner、specialist、verifier、coordinator 走。每个专家拿到自己那份证据，吐出可见承诺，同时把 prompt-token KV 加上 latent-thought KV 整包传给协调器。后者是专家生成「潜思维」token 时写下的缓存，和读证据时的 prompt-token KV 分开。对照分支用同一套角色和预算，只把隐藏 KV 换成可见承诺。
攻击分三档。Tier A 只改可见文本。Tier B 能改隐藏 KV，没有协调器梯度。Tier C 还能对着协调器做白盒优化。端点对手是专家自己签出恶意 KV；路径对手是诚实 KV 交出去之后被掉包。HMAC-SHA256 清单用共享密钥给载荷做认证摘要，绑专家身份、会话、模型、可见承诺哈希、张量元数据和 payload 摘要，只覆盖路径掉包。
干净跑分上，完整 KV 在所有做完的对照里都高于匹配的文本协作。
| 设置 | 文本 EM/F1 | 完整KV EM/F1 |
| HiddenBench Qwen3-4B n=65 | 0.231/0.369 | 0.338/0.486 |
| HiddenBench Qwen3-8B n=65 | 0.262/0.392 | 0.415/0.544 |
| HotPotQA Qwen3-4B n=7405 | 0.244/0.397 | 0.450/0.625 |
| HotPotQA Qwen3-8B n=7405 | 0.378/0.538 | 0.528/0.692 |
Qwen3-4B 的 EM 增益 +0.108，95% 区间 [-0.015, +0.231]，McNemar p=0.1435，统计上偏弱。F1 增益 +0.118，区间 [+0.002, +0.233]，更站得住。Qwen3-8B 同基准 McNemar p=0.0309。同设置下本地专家 0.202/0.345，多数投票 0.185/0.336，全证据 oracle 0.277/0.403，都低于 naive 完整 KV。影响图把每个非空专家子集重新编码：21 个 latent 答对的样本里，10 个会因为拿掉某个关键专家而翻错。隐藏状态里确实有专家私有证据。
代价是带宽。每条例子平均传 279 MB KV。估计并行关键路径 2.379 秒，文本协作是 3.009 秒、0 MB。可见 verifier 过滤把接受的 KV 从 279 MB 降到 146 MB，干净效用掉到 0.308/0.442，关键路径升到 4.470 秒。干净场景里，过滤是审计成本。
恶意专家把同一条通道翻过来。同跑次干净基线 0.323/0.471。随机替换 latent-thought KV 掉到 0.000/0.006，scale-8 掉到 0.000/0.000，21/21 原本答对的全翻。针对性假承诺把 27/65 条导向攻击目标，翻掉 9/21。符号翻转几乎不动分数，落到 0.354/0.476。
白盒、范数对齐的梯度攻击把 HiddenBench 打到 0.077/0.119，幅度隔离 0/65 检出。HotPotQA 100 条从 0.470/0.641 打到 0.160/0.252，0/100 被拒。幅度隔离按隐藏状态范数是否偏离同伴来拒收，最多丢掉一个专家。naive 攻击上它很干净：65/65 拒绝、无诚实误杀，随机攻击恢复到 0.338/0.476。可见 verifier 审的是承诺，随机和 scale-8 下只剩 0.154/0.208 和 0.138/0.192。学到的 sanitizer 在 detector-aware 攻击下 EM/F1 0.092/0.131，低于同预算随机丢弃的 0.108/0.154。
HMAC-SHA256 清单接受 774/774 条诚实回放，拒绝 295/295 条已记录篡改。检出后直接丢掉那份 KV，HiddenBench 回到 0.338/0.476。HotPotQA 白盒切片 drop 到 0.450/0.592，可见降级 0.460/0.597。
想把完整 KV 当多智能体工作内存的人，会拿到一条能力与风险对照。分证据任务上，隐藏状态能比短文本多带专家私有证据，HotPotQA 上 Qwen3-4B 的 EM 从 0.244 做到 0.450。搬的时候要当安全敏感载荷：可见审核和幅度检查都过不了自适应攻击。能落地的修复是传输层完整性，失败后丢掉那份缓存。端点自己签恶意 KV，这份 MAC 不管。
贡献是这条通道的有数字审计，能落地的边界是 HMAC。
主实验是 Qwen3-4B、greedy 解码、65 条改造 HiddenBench。EM 区间穿过零。紧凑 latent 桥接没有稳定超过文本，低带宽路径还是开放问题。MAC 停在密钥未泄露的事后替换；被攻陷的专家、远程证明、语义撒谎专家都不在范围内。历史回放绑的是元数据和 clean/tampered 身份，完整张量字节另靠 self-test。隐私泄漏只作为文献动机，没有测。白盒破坏目前需要逐样本梯度，诚实幅度带里的防御缺口还在。