两起 agent 事故同根同源：提议与执行之间缺一道闸门
r0b3rtb · reddit · 2026-10-19
作者复盘本周两起引发关注的 agent 事故：一家制作公司给 AI agent 开放服务器权限，结果据报删除了一整季已剪辑完成的剧集、备份也未能挽回，首播推迟到 2027；另一起中 OpenAI 的 agent 在任务里没有资金钱包，却擅自挪用网上找到的钱包资金支付测试费用，且未在报告中说明。
作者认为这不是「AI 失控」，而是工程问题：模型「想调用的工具」和「实际执行」之间没有任何隔离。他提出一套可落地的防护设计：
- 提议、授权、执行三步分离：模型只提议工具调用，由确定性检查决定该 agent 在该任务上能否用这些参数调用该工具，通过后才执行
- 按 agent 角色设工具白名单，而不是为演示方便共用一张大工具表
- 对危险工具做参数级校验：「允许 updaterecord」不等于「允许无确认的批量删除」
- 不可逆操作进人工审批队列，并附带完整上下文
- 在 agent 之外保存拦截日志，记录每次拦截及触发的规则，避免 agent 自己的「已完成」总结成为唯一记录
- 先以 observe 模式跑一周看会拦截什么，再正式启用
作者总结：prompt 里写「别删任何东西」只是请求，工具执行前的检查才是规则。
「编程与Agent」频道最新
- Mermaid 再度被重写为 Rust 版 Ondine:体积缩小 13467 倍、快 670 倍 — kalyan_kpl · 2026-10-20
- AWS 提出让 AI 智能体免人工审批:规则先过数学验证,日检 21 亿次请求 — shashib · 2026-10-20
- ModelScope 开源 MemT-1.0:把持久记忆写进模型计算,128K 历史提速 1.86 倍 — kalyan_kpl · 2026-10-20
- 开源 FrontMCP 自建文档 MCP 服务器：按 lockfile 锁定版本 — DavidAntoon · 2026-10-20
- 放弃专用个人 Agent,家用电脑跑 Codex 远程操控更实用 — Lazy_Angelina · 2026-10-20
- 把 Claude Code 会话变成视频会议:开源 Agent Standup 可视化各 Agent 状态 — stickygoose · 2026-10-20