只叮嘱 agent「别碰生产环境」不算安全措施

Innowise_ · reddit · 2026-10-06

开发者指出，对 AI agent 的安全控制不能靠提示词——如果 agent 能删除生产数据，正确的做法是让它根本不拥有该权限。付款、删数据、给客户发邮件这类不可逆操作，应靠人工确认而非依赖 agent 记住规则。

更隐蔽的问题是合法操作的下游连锁效应：客户要求把会议推迟到下月，agent 顺带更新了 CRM 里的成交日期，进而改变了销售预测——每个系统都「正常」工作，但没人要求过这个变更。作者团队因此开始评估 agent 能触发的下游影响，而不只是它直接调用的工具，并询问社区如何处理这类副作用。