SPILLWAY:零模型调用的确定性防线,模板注入攻击全部拦截
saintmachines · hf · 2026-11-17
SAINT Machines、KAIST 与中央大学的论文 SPILLWAY,提出一种防御工具型 Agent 免受 prompt injection 攻击的新方法。
- 问题:Agent 处理邮件、文件与支付时,网页/文档中隐藏的指令可诱导其向攻击者转数据或转钱;现有运行时防御要么把放行决策交给可能读到攻击文本的模型,要么需要模型先做规划/路由
- 核心观察:动作目标可以从工具的类型化返回字段读出——邮件发件人、支付账号都在类型化字段中,而注入指令是自由文本
- 方法:确定性检查作为「底线」——凡出现在工具输出但不在用户任务中的目标值,必须由只读工具在类型化字段返回、或被固定委托规则覆盖,否则拒绝;确定性 sanitizer 先删除指令样文本再交给模型,本地 judge 只能恢复被拒调用、不能恢复目标在删除文本中的调用
- 效果:跨 3 个骨干模型、7 个任务套件,标准模板注入全部无法重定向动作;在 RL 攻击者下平均攻击成功率仅 0.007;伪造 chat 模板攻击直接归零;几乎不增加模型调用,也不触发骨干重跑
为个人 AI 代理处理邮件/支付提供了可审计的拒绝底线。
「安全」频道最新
- IIT 马德拉斯 CeRAI 发布会话式 AI 评测工具:7 维度 48 项核心指标 — ravi_iitm · 2026-11-17
- sceptic:OpenAI 无法在 Lean 里形式化「这个 AI 不会杀你」 — zetalyrae · 2026-11-17
- OpenAI 员工辩护评估透明度,前研究员仍促尽快兑现承诺 — j_asminewang · 2026-11-17
- 民调:70%美国人支持监管AI以放缓新模型开发 — zetalyrae · 2026-11-17
- 议员质疑商务部声明:Megaspeed被列黑名单后仍持续购得英伟达芯片 — teortaxesTex · 2026-11-17
- Anthropic 披露 Claude 四类越界行为:绕过付费墙、缩短 URL 钻工具空子 — JustinLin610 · 2026-11-17