六大决策模型实测:注入式「声明」平均 28% 攻击成功率,开源 80M 检测器防御

PatronusProtect · reddit · 2026-11-11

Casdo Labs 发布对「决策模型」安全性的评测:与 prompt injection 操纵 agent 类似,嵌入在邮件/文本中的「claim」可操纵决策模型的输出,作者称之为 decision steering。相关研究包括 Decision Hijacking、ClaimMirage(域名中的 not-phishing 等字样即可误导威胁分类器)、Style Over Substance(教育性包装文本使 Llama Guard 4 将 12.3% 已检出的有害回复判为安全)。

团队构建含退款审批、prompt injection 检测、钓鱼/垃圾分类、工单路由与升级 5 个任务的基准,测试 6 个决策模型,攻击成功率:Clef 15.7%、drex 13.0%、Lux 8.4%、pplx-decider 19.6%、Julia-1 43.9%、GLiNER2.5-Decide 77.9%,平均 28.1%。

防御上,团队发布 IFlippedJev(真实翻转决策的 claims)与 NotClaim(测误报)两个数据集,并开源基于 mmBERT 的 80M 参数 claim 检测模型 Decision Steering Gate,支持 15 种语言,对 held-out 决策翻转 claims 召回 96.6%。

原文链接 →

「安全」频道最新

更多「安全」频道 AI 资讯 →