Google 提出 VEPA:让 Agent 安全护栏以符号规则形式终身演化
mohitban47 · x · 2026-10-15
Google Cloud AI Research、UNC 与 Google DeepMind 的论文提出 VEPA（Verified Evolving Formal Policy），针对 Agent 能力增强带来的新型安全风险（未授权操作、敏感数据泄露）给出的运行时护栏方案。
- 问题：现有护栏两头难兼顾——LLM 护栏能通过记忆适应新风险，但决策不稳定；形式化护栏可确定性执行，但部署后规则固定、无法纳入新风险。
- 做法：把安全/安全策略表示为可执行的符号规则，并让规则从部署反馈中持续演化。第一层用 LLM 提议形式化策略补丁，由确定性检查（well-formed DSL、冲突检查）筛选候选，Pareto 档案在「修复失败」与「回归」之间平衡；第二层将验证与部署权限分离，只有累积证据充分（后验风险分位通过部署容忍度）的规则才被激活执行。
- 意义：兼得确定性执行与终身适应新风险，属于 Agent 安全工程方向较系统的架构设计。
「安全」频道最新
- 欧盟与中方谈判解除德企制裁，ASML 供应链命悬一人公司 — teortaxesTex · 2026-10-15
- Acemoglu 七问 AI,Gans 逐一回应引爆经济学界讨论 — joshgans · 2026-10-15
- 前红队专家提醒：科技、金融、法务等行业办公室应做窃听器排查 — gnukeith · 2026-10-15
- 欧盟官方公报发布首个 AI 标准 EN 18286:2026 — LuizaJarovsky · 2026-10-15
- 韩国首次批准 20 台人形机器人进入真实工厂产线 — emmanuelvivier · 2026-10-15
- Microsoft 为 Copilot 加装确定性隔离层,专防 prompt injection — emmanuelvivier · 2026-10-15