华为 Noah+HKUST 提出 IDEA:推理时检测 GUI Agent 视觉触发后门

huawei-noah · hf · 2026-11-19

HKUST、北京大学与华为 Noah's Ark Lab 提出用于 GUI agent 推理时后门检测的方法 IDEA(Intent-Dominance Evidence Audit)。

背景:企业越来越多部署下载的开源权重 GUI agent,被植入后门的 agent 在干净数据上能通过验收测试,只在屏幕出现视觉触发器时才异常行为,构成供应链风险;现有样本级检测器针对图像分类器和 CLIP 类编码器,无法覆盖 GUI agent 的步骤级后门。

方法:逐步推理时审计——比较指令驱动与区域驱动的决策状态偏移,与干净步骤的 conformal 基线对照。干净步骤中指令主导动作;当未被引用的屏幕区域劫持该步骤时,指令失去对决策状态的控制或该区域支配决策,形成「意图-证据支配」签名,以此标记触发器并控制误报率,可定位触发区域并触发人工接管。

原文链接 →

「安全」频道最新

更多「安全」频道 AI 资讯 →