华为 Noah+HKUST 提出 IDEA:推理时检测 GUI Agent 视觉触发后门
huawei-noah · hf · 2026-11-19
HKUST、北京大学与华为 Noah's Ark Lab 提出用于 GUI agent 推理时后门检测的方法 IDEA(Intent-Dominance Evidence Audit)。
背景:企业越来越多部署下载的开源权重 GUI agent,被植入后门的 agent 在干净数据上能通过验收测试,只在屏幕出现视觉触发器时才异常行为,构成供应链风险;现有样本级检测器针对图像分类器和 CLIP 类编码器,无法覆盖 GUI agent 的步骤级后门。
方法:逐步推理时审计——比较指令驱动与区域驱动的决策状态偏移,与干净步骤的 conformal 基线对照。干净步骤中指令主导动作;当未被引用的屏幕区域劫持该步骤时,指令失去对决策状态的控制或该区域支配决策,形成「意图-证据支配」签名,以此标记触发器并控制误报率,可定位触发区域并触发人工接管。
「安全」频道最新
- Rohit Krishnan 提出渐进式自我改进 SSI:每次升级先分析再用 — geoffreyirving · 2026-11-19
- FDA AI 医疗设备清单 96% 走 510(k),仅 21 款获 PMA 严格审批 — alvelda · 2026-11-19
- AI 编程代理新攻击面:下载文件夹里的 AGENTS.md 可指挥代理装包执行代码 — alvelda · 2026-11-19
- PDF 发票可动态篡改 IBAN:新型邮件攻击手法曝光 — JFPuget · 2026-11-19
- Judea Pearl 认可:用因果之梯顶层做 AI 事故反事实审计 — yudapearl · 2026-11-19
- 删了错误记忆仍阴魂不散:Agent 记忆残留成生产隐患 — govinargo · 2026-11-19