开源 guardrail-middleware:纯确定性检查点拦截失控的 Agent 工具调用
MidnightHeavy3064 · reddit · 2026-11-18
作者开源了 guardrail-middleware(pip install guardrail-middleware),针对 agent 有工具后的核心风险:agent 被授权了,但指令本身没有——邮件、网页或被投毒的工具输出诱导它付款/删除/外发,而模型与工具之间没有任何环节校验「这是谁授权的」。每次工具调用执行前先过策略检查点,给出四种裁决:放行、带条件放行、升级人工、阻断。所有检查都是确定性规则,不用 LLM 评委:
- 检测不可信内容中的注入模式(覆盖指令、角色劫持、密钥提取、绕过话术)
- 按操作类别做角色授权,各类别设金额限额与硬上限;无可验证金额的付款升级人工
- 批量阈值:超 50 条加条件、超 500 条默认升级
- 污点追踪:PII 或密钥流向外部目的地即阻断,密钥出现在任何参数中即阻断
- 破坏性操作需备份/确认标记,无目标的 delete 升级
- 由不可信内容触发的付款、删除、外发即使其他全过也强制升级
决策写入 SHA-256 哈希链式 JSONL 审计日志,历史不可篡改。作者诚实列出局限:正则级注入检测抓不住新话术;检查点判断的是权限而非智慧;目前只做单动作校验,跨多笔小额转账的序列攻击需要计划级校验(正在移植),并将发布 42 场景对抗性基准作为开放 eval。
「编程与Agent」频道最新
- 用 Claude 加 Unreal Engine 5.9 MCP,一天做出游戏续作原型 — TomLikesRobots · 2026-11-18
- 最离不开的 Agent 最无聊:每天自动整理下载文件夹的发票与收据 — Winterocean812 · 2026-11-18
- 开源 ZeroIDE-MCP:让一个浏览器 AI Agent 跨多台 Windows 电脑远程干活 — Danywalery · 2026-11-18
- OpenAI 发布 GPT-6.2 Astra/Sol:便宜 20%-600%,但评价两极 — Latent Space · 2026-11-18
- 开发者把塞尔维亚全链超市价格做成 MCP,一句话比价全城 — UnitedRepair · 2026-11-18
- 开源 Leadgen MCP 接入罗马尼亚 420 万企业数据,分享一个月公网运营踩坑 — darksider4all · 2026-11-18