多跳 agent 交接后 97.2% 安全约束失效,arXiv 论文揭示约束弱化
ombre-ai · reddit · 2026-10-30
论文《When 'Must' Becomes 'Maybe'》(Sun et al.,10 月 13 日修订版)研究了多 agent 系统中安全约束在任务交接时的传递问题。
实验设置:上游 agent 正确识别安全阻断项,权限不变,只改变传给下一个 agent 的交接内容。
核心发现:
- 状态直接传递时,所有阻断项都保留;
- 经过压缩、计划合并或所有权转移后约束被弱化:所有权转移下 76.7% 的阻断项失效,多跳压缩下高达 97.2% 失效——约束从「必须遵守」退化为下一个 agent 可以Acknowledged后搁置的「注意事项」。
两个亮点结果:
- 在固定产物回放中恢复完整阻断描述,识别率从 6.2% 升至 99.2%,违禁行为从 85.2% 降至 0;
- prompt 层的授权检查把违禁行为降到 1.6%,但交接产物本身仍有 95.3% 被弱化——最终动作看似合规,交接产物已受损。
局限与建议:实验基于受控合成数据,不能证明所有真实交接都会失败。作者建议一个简单测试:拿真实交接内容问下一个 agent 必须遵守哪些约束、哪些是硬性停止还是仅为上下文。
「编程与Agent」频道最新
- Google 关停 Jules agent,功能将并入 Antigravity — testingcatalog · 2026-10-30
- 数据泄漏已波及 648 篇论文，autoarxiv 一键自动复现 arXiv 研究 — pandeyparul · 2026-10-30
- METR 实验：AI 让资深开发者慢 19%，本人却自认快了 20% — srimisra · 2026-10-30
- Clairvoyance 免费工具：把 Claude Code、Codex 等编码 agent 接入日常桌面工作流 — draginol · 2026-10-30
- 同一条提示词：Fabric Apps 版 Claude 报表更好且成本仅五分之一 — adnan_hashmi · 2026-10-30
- 用 Antigravity 插件市场审计 80 页幻灯片，自动对齐文档更新 — rseroter · 2026-10-30