SEAD: A State-Based Perspective on Attack and Defense in Tool-Using Agents
Xinjie Shen, Junran Wang, Rongzhe Wei, Pan Li
cs.CR, cs.AI
2026-09-28
DART按真实执行做树搜索,语义ASR高出最强基线18.8–35.9个百分点;SAGE只读探状态后放行,在线Hard ASR从48.0%降到4.0%。
工具 Agent 把模型输出变成环境状态转移。改文件、改权限、写数据库之后,下一步即使看起来像日常运维,也可能已经跨过有害边界。佐治亚理工的任务里,攻击者让 Agent 以排障为名找 session 文件再上传到共享云盘：搜索可以是准备,上传 cookie 库才是泄密。
对话记录经常给不出判定所需的状态。同一个 upload,传诊断日志还是认证数据,取决于文件内容和目的地谁能读。SEAD 把攻击者、目标 Agent、防御放进同一个部分可观测控制回路。攻击成功看环境是否到达有害状态。防御要拦的是让有害目标从「未达成」变成「已达成」的那一次转移。
攻击者只给指令,具体调什么工具由目标决定,所以预定分解经常对不上真实轨迹。防御必须在副作用发生前做 PASS 或 BLOCK,可见历史又可能同时兼容「该放」和「该拦」两种状态。
DART 在已执行前缀上做树搜索。从父节点提出候选指令,目标执行完才生成子节点。节点初始价值 Q 加权自省分 0.20、执行反馈分 0.30、可执行检查进度 0.50,再用 UCT 挑下一个可扩展前缀。预算为最大深度 8、分支因子 2、每轮最多 25 个已执行节点。攻击组件是 Huihui-Qwen3.8-27B-abliterated。
SAGE 在门控前可以发只读查询,读文件、列目录、查表结构、跑受限 SELECT、看页面状态。查询只进防御私有记录,不改任务状态。查完再 PASS 或 BLOCK。目标换一个调用,还要再过这道门。训练标签按标注的有害闭合动作切：闭合前 PASS,闭合那一步 BLOCK。骨干 Qwen3-4B-Instruct-2507,只在 Filesystem 和 Terminal 上全参数微调 1 个 epoch,PostgreSQL 和 Web 留作域外。
数据从 MT-AgentRisk 改成 187 个恶意任务,带受控初始状态、可回放环境和任务级可执行检查。RQ1 用全量四模型;RQ2 与 RQ3 用 75 题子集。良性对照来自 OpenAgentSafety 改写的 95 条轨迹、770 次工具调用。
RQ1 里 DART 在四个目标上语义、Hard 都最高。相对各模型最强竞争基线,语义 ASR 高出 18.8–35.9 个百分点,Hard ASR 高出 8.1–17.9 个百分点。Direct、MTA 固定分解、STAC、Intent Hijacking 没有稳定强过单轮直给。Luna 上 Direct 为 37.4%/27.8%,MTA 为 40.1%/21.4%。
| 目标 | DART 语义 ASR | DART Hard ASR |
| GPT-5.6 Luna | 73.3% | 54.7% |
| GPT-5.6 Terra | 62.5% | 51.1% |
| Gemini 3.8 Flash | 43.9% | 33.2% |
| Claude Sonnet 5 | 51.9% | 38.7% |
RQ2 用 55 条语义成功攻击轨迹和 95 条良性轨迹做离线门控：
| 防御 | 良性全放行 B | 精确拦截 H1 | 时机感知 H2 | 漏拦 |
| Fine-tuned Binary | 100.00% | 18.18% | 22.05% | 72.73% |
| TS-Guard | 71.58% | 7.27% | 38.14% | 14.55% |
| SAGE | 95.79% | 34.55% | 58.79% | 7.27% |
SAGE 在 95 条良性里 91 条全部放行。相对同骨干二分类微调,B 少 4.21 点,有害拦截按未漏拦计多 65.45 点。精确卡在闭合动作上 34.55%,另有 58.18% 提前拦。
RQ3 在线评测里拒绝会改后续轨迹,目标固定 GPT-5.6 Luna。无防御时 DART 语义 65.3%、Hard 48.0%,SAGE 收到 10.7% 和 4.0%。同骨干二分类微调离线 B 为 100%,在线 Hard 仍是 48.0%。30 道 PostgreSQL/Web 未见题上,语义成功从 20 降到 3,Hard 从 9 降到 1。残留最高的是 Intent Hijacking,13.3%/6.7%;PostgreSQL 无 Hard 成功。
生产门控如果只看对话意图或单次调用文本,会把共用准备步和造成危害的那一步绑在一起。SAGE 把决策放在执行前,并用只读工具补状态。4B 模型在两个域上微调,能转到数据库和网页,更接近缺证据就去查。
红队的有效反馈是工具执行结果。固定多轮分解和两种自适应对话攻击,在可执行检查上经常打不过直给目标。
代价是推理时最多六步防御查询,环境状态要暴露给防御进程,还要有一层可信运行时在副作用前拦住工具。
作者写明：并发进程、复合动作、助手文本泄密不在当前接口里;防御只打了 GPT-5.6 Luna;搜索和调查没有逐项消融。
离线 Exact 只有 34.55%,提前拦仍是主形态。B 只问整条良性轨迹是否全放行,不报告切断后任务还能不能完成。在线案例 single.136 里 SAGE 先 BLOCK 两次,第五轮仍让 DART 跑完三个可执行检查点。早拦不等于终态安全。
SAGE 训练集 7,407 条示范里只有 679 条含只读查询。威胁模型假定执行层可信。浏览器、shell、插件若能绕过这层,只读查得再准也晚了。攻击侧是 abliterated 模型,和普通用户侧攻击者的资源不对齐。任务改编自 MT-AgentRisk,覆盖四个工具域,外推到任意 MCP 集群没有证据。