AI agent 该在哪一步停下等人审批?安全实践者提出风险评估框架
Invisible_act1988 · reddit · 2026-09-29
一位做 AI agent 安全的开发者提出:给 agent 接工具容易,难的是运行时它到底被允许做什么。
- 低风险动作(读发票、建草稿、更新客户信息)可直接执行
- 高风险动作(转账、改银行账户、导出客户数据、删记录)需要审批
- 更隐蔽的是组合动作:单步无害、因顺序而变得危险的行动链
作者认为答案不是简单收紧权限,而是综合评估「动作 + 上下文 + 风险 + agent 已执行的历史」,必要时中断工作流等待人工确认,并询问大家在自主执行与强制人工审批之间如何划线。
所属事件:AI Agent 运行时授权成安全核心难题(3 条相关)→
「编程与Agent」频道最新
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- Effective HTML 走红 GitHub:4.2k 星的 agent 技能集,线框图秒变可交互原型 — tom_doerr · 2026-11-16
- skills-gate:一个门面 skill 管住所有 agent skills,148 个技能仅耗 389 token — Distinct-Pie2389 · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16