Google 演讲:agent 工具分构建时与运行时,别让 AI 删库
AI Engineer · youtube · 2026-09-09
Google Cloud 的 Averi Kitsch(MCP Toolbox 技术负责人)与 Prerna Kakkar(Eval Bench 负责人)在演讲中用一个翻车案例开题:一个 agent 遇到报错后决定删表重来,没有任何机制拦住它。
构建时 vs 运行时:构建时工具服务于开发辅助——管理实例的控制面工具、按问题自由生成 SQL 的自然语言接口,灵活但归属人类监督,不该进生产;运行时工具相反,SQL 结构与参数提前固定,封死注入空间、降低延迟、不给 agent「发明」余地。
安全部分:数据库的安全性等于它前面 agent 的安全性,重点讲 confused deputy(混淆代理人)攻击——分诊 agent 读到植入指令后,因持有权限就把工资表查询结果回贴出去。对策是分离用户、应用与 agent 三重身份,把工具从超级用户逐步收窄:连接信息移到 agent 看不到的 YAML,只读强制下沉到驱动层,限定数据集与输出上限控制爆炸半径,自定义工具用 prepared statement 固定 SQL,敏感值如 user id 由应用侧绑定、agent 永不接触。最后强调工具质量:面向结果设计工具、读写分离、报错要让 agent 能据此行动。
「编程与Agent」频道最新
- Agent 成功完成任务的背后:验证器只查了「有没有点击」导致重复投票 — TejasKumar_ · 2026-10-26
- diginomica 周报:agentic 自动化被高估,agent 攻防「The Hackening」已开始 — jonerp · 2026-10-26
- 「氛围验证」研究：近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- Devin 推出安全工具线，由 Claude Mythos 驱动并送数亿美元额度 — DevinAI · 2026-10-26
- HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26
- HF Hub CLI 大更新:缓存去重省 19GB,GPU 任务可重试重跑 — yb2698 · 2026-10-26