开源 safeagents:轻量代理拦截 Agent 危险工具调用
开发者开源了用 Python 编写的 safeagents,一个快速、免费、轻量级的代理,可插入任何编码 harness,在 LLM 工具调用执行前进行拦截检查,用于防范危险操作与 reward hacking。架构上它是对 LLM 服务器的一层简单代理封装,基于 @evalstate 的工作构建:把每个请求转成 ATIF 轨迹格式,并用 110 个确定性检测器扫描工具调用。
2026-10-29 ~ 2026-10-29 · 2 条相关
- 第 1 集:开源 safeagents:轻量代理拦截 Agent 危险工具调用(2026-10-29,2 条)
- 第 2 集:safeagents 新增决策模型接入与 log-only 观察模式(2026-10-29,2 条)
- 开源 safeagents:轻量代理拦截 Agent 危险工具调用与 reward hacking — yb2698 · 2026-10-29
- safeagents 架构拆解:ATIF 轨迹格式加 110 个确定性检测器扫描工具调用 — yb2698 · 2026-10-29