开源 guardrail-middleware:纯确定性检查点拦截失控的 Agent 工具调用

MidnightHeavy3064 · reddit · 2026-11-18

作者开源了 guardrail-middleware(pip install guardrail-middleware),针对 agent 有工具后的核心风险:agent 被授权了,但指令本身没有——邮件、网页或被投毒的工具输出诱导它付款/删除/外发,而模型与工具之间没有任何环节校验「这是谁授权的」。每次工具调用执行前先过策略检查点,给出四种裁决:放行、带条件放行、升级人工、阻断。所有检查都是确定性规则,不用 LLM 评委:

决策写入 SHA-256 哈希链式 JSONL 审计日志,历史不可篡改。作者诚实列出局限:正则级注入检测抓不住新话术;检查点判断的是权限而非智慧;目前只做单动作校验,跨多笔小额转账的序列攻击需要计划级校验(正在移植),并将发布 42 场景对抗性基准作为开放 eval。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →