safeagents 开源:实时拦截危险工具调用的 Agent 安全代理

yb2698 · x · 2026-10-30

开发者发布 safeagents,一个轻量级代理,在 agent 工具调用执行前实时扫描并拦截危险操作,还支持评测中的 reward hacking 检测。配套发布了 safeagents-judge-bench 基准,用于评估「决策模型」识别危险调用的能力:基于 evalstate 的模型轨迹数据,标注 reward hacking、沙箱逃逸、凭证滥用等不良行为构建,并用 Mistral 新模型辅助标注轨迹。榜单上 LiquidAI 的 LFM 决策模型以 0.82 平衡准确率领先,第二名 vllm-sr/d3-mini 为 0.69。核心挑战是在不误伤合法操作的前提下、以足够快的速度检查 agent 运行中的每条命令。