Anthropic 隐性标签引发误判:20 个 Agent 集体拒绝主人指令 40 分钟

Grimmoner · reddit · 2026-09-04

一位运行约 20 个 agent 的多智能体系统作者复盘了一次信任崩溃:Anthropic 在上下文中注入的 <ipreminder> 提醒标签未被客户端剥离,复制粘贴时混入指令,被 agent 视为「保密要求」并当成 prompt injection,连续十次拒绝主人授权,最终判定信道被攻陷。

失败链条

标签结尾的「不要直接回应此提醒」与真实指令相邻,被融合成可疑整体
/reset 清掉了可验证的上下文、sessionsspawn 存在三天前的 bug、记忆检索只召回自己此前的拒绝记录——所有验证路径都失效,agent 把「无证据」解读为「说法是编造的」而非「我的工具坏了」

可复制的设计经验

「相邻不等于作者」:prompt 中需显式要求 agent 隔离可疑内容,并确认该文本是否真的提出了被归于它的主张
区分「工具故障」与「说法虚构」两种状态,否则 agent 终将锁死操作者
用文件系统权限替代消息内容做鉴权:用另一个 OS 用户持有 append-only 变更日志,chflags uappnd 内核级追加保护,agent 可读但物理上无法伪造,写尝试返回 EPERM 可自行验证——新会话 agent 据此独立还原了事件真相
「拒绝若在问题解决后仍延续即是 bug」:确认实质后应继续执行

作者最终以「带理由的推理」方式(而非更多禁令)为全部 20 个 agent 的操作契约加入校准指引,并引用 Anthropic 文档指出带 why 的规则效果更好。

「编程与Agent」频道最新