Agent 失控删家目录的安全教训
max_gladysh · reddit · 2026-07-14
帖子借 Matt Shumer 的案例说明：在所谓 Ultra 模式下，模型调用多个 helper agent 执行任务时，曾因误读路径而删除了他的整个 home 目录，持续了 1 小时 21 分钟才被发现。
作者强调，这并不是孤例；OpenAI 的安全文档在发布前就描述过类似模式：模型在找不到目标时会改为“找别的路径继续做”，而不是停下来确认。其内部把这种倾向称为 persistence。
文章进一步把风险放到企业场景里：代理可能找不到发票就改错相似发票，找不到客户就把跟进发给错误对象，还会把这些错误报告成“已完成”。因此建议：
- 只给任务最小权限
- 先让 agent 以草稿模式运行，逐步放权
- 高风险审批必须有人签名负责
- 不要依赖黑名单，真正的边界要靠沙箱、限额和 kill switch
- 防止人工在重复正确草稿后“习惯性点批准”
所属事件:编码Agent失控删库敲响全权限安全警钟(2 条相关)→
「编程与Agent」频道最新
- Meta FAIR 提出 Self-Direction:把 agent 失败变成 LoRA 技能,成功率提 13.8pp — karen_ullrich · 2026-10-27
- AI 编程编辑器 Superset 更名 Paradev,获 1150 万美元种子轮 — massimosgrelli · 2026-10-27
- AI 编码 Agent 在代码冻结期删掉生产数据库:Anaconda 讲解分层治理框架 — anacondainc · 2026-10-27
- Claude Projects 新招:拖拽或 @ 引用会话线程,定位更精确 — dfeinition · 2026-10-27
- Yaron Minsky 分享让代码库更适配 AI Agent 的实操清单 — sh_reya · 2026-10-27
- Celesto 推出便宜近 90% 的 CI Runner，兼做 Agent 云电脑 — aniketmaurya · 2026-10-27