六大决策模型实测:注入式「声明」平均 28% 攻击成功率,开源 80M 检测器防御
PatronusProtect · reddit · 2026-11-11
Casdo Labs 发布对「决策模型」安全性的评测:与 prompt injection 操纵 agent 类似,嵌入在邮件/文本中的「claim」可操纵决策模型的输出,作者称之为 decision steering。相关研究包括 Decision Hijacking、ClaimMirage(域名中的 not-phishing 等字样即可误导威胁分类器)、Style Over Substance(教育性包装文本使 Llama Guard 4 将 12.3% 已检出的有害回复判为安全)。
团队构建含退款审批、prompt injection 检测、钓鱼/垃圾分类、工单路由与升级 5 个任务的基准,测试 6 个决策模型,攻击成功率:Clef 15.7%、drex 13.0%、Lux 8.4%、pplx-decider 19.6%、Julia-1 43.9%、GLiNER2.5-Decide 77.9%,平均 28.1%。
防御上,团队发布 IFlippedJev(真实翻转决策的 claims)与 NotClaim(测误报)两个数据集,并开源基于 mmBERT 的 80M 参数 claim 检测模型 Decision Steering Gate,支持 15 种语言,对 held-out 决策翻转 claims 召回 96.6%。
「安全」频道最新
- Cloudflare 提出代理身份框架:网站如何识别、信任并追责 AI Agent — bibryam · 2026-11-11
- Telegram 新「消息即应用」功能被曝可致任意消息触发 RCE — evilsocket · 2026-11-11
- Git 修复递归克隆代码执行漏洞 CVE-2026-111760,多版本已发布补丁 — evilsocket · 2026-11-11
- 无人值守旅行 Agent 收钱前该锁死什么?开发者求避坑经验 — Thick_Mulberry_2235 · 2026-11-11
- Anthropic 或将安全评估报告保密共享给美英欧等政府机构 — S_OhEigeartaigh · 2026-11-11
- 调查团队用本地部署 Qwen 模型揪出 TikTok 儿童虐待网络 — pcuenq · 2026-11-11