带真实权限的 agent 如何防外发事故?一线运维者经验征集

GROUND_ink · reddit · 2026-11-22

Reddit 讨论帖:如今模型被授予邮箱、文件、shell 和外部 API 权限,而最危险的失败模式是「目的地由不可信内容决定的外发」——网页、邮件或工单里的注入内容让 agent 把东西发出去,且更聪明的模型并不能消除这个问题。楼主向已在此环境运行 agent 的人提了三个问题:目前如何防 prompt injection 和意外外发;是否经历过真实事故或险情;是否会用一个「目的地来自不可信内容即拦截、无法判断时才找人审批」的检查,以及能容忍多高的拦截/审批频率——问得太频繁人会麻木直接点同意。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →