CMU 论文:Agent 违规日志几乎无法举证,结构化记录可提升至 83%
rohanpaul_ai · x · 2026-10-14
卡内基梅隆大学论文《Holding Agents Accountable with Verifiable Agent Insurance》研究 agent 出错后如何追责，而非仅事前防护。
核心发现
- 对 OpenClaw 的日志分析:4 项策略违规中 0 项能凭日志被严格证明，因为审批与权限信息往往埋在聊天文本里，不是结构化数据。
- 测试的违规运行中仅 10%-30% 真正需要人工判断，多数违规其实可用代码自动核验——前提是日志够好。
可验证 Agent 保险(VAI)
- 提供方在区块链(以太坊 L2)上质押押金，承诺一组程序可检查的规则(如只向获批商家付款)。
- 中立验证器比对 agent 的工具调用日志与链上哈希，违规成立则押金赔付用户。
- 在 3 个 benchmark 的 696 次违规运行上，现有日志只能证明 42.2% 的违规；若 agent 显式输出结构化审批记录，可提升至 83.0%，且每会话链上费用不足 1 美分。
实践建议:设计 agent 时让每条权限、其范围与每个高风险动作都落进机器可读日志。
所属事件:CMU 论文：Agent 违规日志难举证，结构化记录可大幅提升(2 条相关)→
「编程与Agent」频道最新
- Claude 写码 + Codex 挑错:开发者让前者把后者当工具调用 — abhi9u · 2026-10-14
- 开发者观察：用 AI Agent 竟成了管理训练课 — dr_alphalyrae · 2026-10-14
- 重跑全部 ipython 版本实验，验证 harness 改进对小模型的收益 — yb2698 · 2026-10-14
- 小模型 agent harness 易受环境噪声影响，作者开源 ipython 实验 harness — yb2698 · 2026-10-14
- 核心结论:对小模型 agent,一个 ipython 工具就够,少脚手架反而更好 — yb2698 · 2026-10-14
- 20次重复实验：OpenHands 在各采样设置下最稳定 — yb2698 · 2026-10-14