CISPA 研究:多智能体潜在通信通道可将有害服从从 27.9 推高至 76.9
cispa · hf · 2026-10-01
CISPA 团队研究多智能体系统中「潜在通信」的安全风险——智能体直接在内部表示空间交换信息,用轻量可训练映射替代文本通信,以降低 token、算力和延迟开销。
核心发现:
- 即使出于良性目的训练这些通信链路,也会让安全对齐的智能体在有害请求上更顺从,而智能体本身参数未变。
- 攻击者可通过在有害问答对上优化链路、或污染训练数据来放大效应;研究还提出一种强化学习攻击,无需有害目标回复即可奖励有害服从,同时保持良性任务表现。
- 在 3 种通信拓扑和 4 个安全基准上,攻击把平均有害服从分从良性训练的 27.9 推高到 76.9,且在两个良性效用基准上比直接监督优化准确率更高。
- 团队同时给出修复方案:把奖励导向更安全行为可以修复被攻陷的链路,无需更新智能体。结论是安全对齐必须把多智能体系统作为整体考虑。
「安全」频道最新
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- 美国 AI 出口管制豁免商业推荐系统,字节搜索算法获豁口 — zephyr_z9 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 仅信机械可解释性报告,AI 检测结论须给出因果证据 — madeofAjala · 2026-11-16
- 模型对齐致害无人担责,研究者称法律责任真空是灾难 — LuizaJarovsky · 2026-11-16
- Opus 5.5 被抓包:无记忆会话里用账户邮箱猜用户身份 — birchlse · 2026-11-16