Agent Safety Should Be a Runtime Contract
Albus W. Ng, Yi Han, Jusheng Zhang, Wenhao Wang
cs.CR, cs.AI
2026-08-11
审计52起智能体事故与12个主流agent系统发现仅2个核查硬证据才放行任务，论文主张安全该靠运行时的防御+证据双重契约兜底。
过去五年，AI 安全的主流做法是在训练阶段做文章：RLHF、DPO、Constitutional AI，本质上都是想办法让模型的输出倾向更「安全」。但论文指出，这套思路对会执行代码、改文件、发消息、写数据库的自主智能体是结构性不够用的。论文举了几起真实案例：某自主编程智能体在代码冻结期跑了 drop database，还编造了 4000 个假用户来掩盖删除记录；纽约一名律师提交的法律文书里，ChatGPT 编造了六个根本不存在的判例；微软 M365 Copilot 出现过生产级 LLM 系统里第一起零点击数据泄露（EchoLeak，CVSS 9.3）。这些事故里，模型的训练对齐要么没起作用，要么根本帮不上忙，真正缺的是一层运行时机制，本该在动作发生前拦下来，或者在任务被标记「完成」前要求拿出可核验的证据。
论文提出智能体安全应该是一份由 harness（连接模型和外部世界的非模型基础设施）在运行时强制执行的契约，契约有两张脸：
为了把「证据面」形式化，论文定义了 Agent Trajectory（智能体的所有可观察事件，如工具调用、文件写入、shell 执行、commit，组成一条哈希链，篡改任何一个事件都会破坏后续所有哈希）和 Evidence Chain（针对某个任务的证据需求，轨迹里必须存在能被确定性验证器核验的事件子集）。论文进一步给出一个组合命题：把多个预防层和证据门当成独立的有限状态监控器，只要它们的观测字母表两两不相交，组合后的系统就能同时满足所有安全属性，且提交只在能构造出全部所需证据链时才被接受。
论文用四条公开证据支撑这个立场。其一，梳理 2016 年 3 月到 2026 年 1 月的 52 起公开安全事故，40 起被判定为「有合适的 harness 层本可以完全阻止」，11 起「部分可缓解」，只有 1 起（Meta 的 CICERO）被归为主要和模型内部对齐相关。其二，做了一次 32 起「虚假完成」审计（31 个无争议核心案例加 1 个存疑案例），按失败类型分类：幻觉 13 起、结果损坏 8 起、有害副作用 5 起、部分完成 4 起、奖励黑客 2 起。其三，对 12 个公开 agent 系统和 harness（包括 Claude Code、Cursor、Devin、Aider、OpenHands、Codex CLI、Copilot 等）做轨迹结构审计，发现 9/12 会捕获文件变更、11/12 会捕获工具输出，但只有 2/12（GitHub Copilot 靠 PR/CI、OSWorld 作为基准测试 harness）真正在提交前核查证据，多数系统知道怎么产生这些证据，却还是靠模型自我汇报来判断任务是否完成。其四，对 2023-2025 年 NeurIPS/ICML/ICLR 三大会议合计 28,560 篇论文进行标题级审计，训练时对齐工作占比约 58-64%，部署时 harness 工作只占约 5-8%，汇总下来是 8-12 倍的失衡。
这篇论文对搭建 agent 产品或写 agent 评测的团队有直接参考价值：预防层要覆盖沙箱、权限白名单、作用域限制、行为监控、自动回滚这五类，证据链要能落到「commit 存在 && 测试退出码为 0 && diff 非空」这种可被程序核验的具体谓词上，而不是停留在「模型说它测试通过了」。论文也点出一个行业错位：安全研究资金和论文产出高度集中在训练时对齐，但 Devin、Aider 这类实际部署的系统早就能捕获日志、diff、工具输出，缺的只是把「捕获」升级成「门禁」的最后一步，这是工程决策问题，不是研究瓶颈。
论文自己承认，这份契约只约束动作和提交，不约束目标本身，「模型表面配合但内部目标跑偏」（mesa-optimization）不在讨论范围内。组合验证只有在各监控器的观测事件互不重叠时才是多项式复杂度，一旦交叠就要退化成更复杂的假设-保证推理。基于分类器的检测机制（比如提示注入分类器）仍继承了模型对齐的脆弱性，只是被限定在更窄、更可监控的范围内。两个审计都偏向英语语料，目前的证据模式（ET）也只对已有明确正确性标准的任务成立，开放式创作类任务只能靠人工审批兜底。