专题 · FULL STORY
SafeAgents:HF 开源编码智能体安全代理
Hugging Face 开源轻量本地代理 SafeAgents,可将编码智能体指向它以拦截危险工具调用;随后项目快速迭代,新增任意决策模型 API 接入与 log-only 观察模式,增强对可疑调用的检查能力。
2026-10-29 ~ 2026-10-29 · 2 集 · 5 条
第 1 集 · Hugging Face 开源 SafeAgents,拦截编码智能体危险调用(2026-10-29,3 条)
Hugging Face 开源 SafeAgents,一个用 Python 编写的轻量本地代理,可将编码智能体的 base URL 指向它,在工具调用执行前进行拦截检查,防范危险操作与 reward hacking。架构上它是对 LLM 服务器的一层简单代理封装,将请求转为 ATIF 轨迹格式,由约 110 个确定性检测器扫描每次工具调用,可插入任何编码 harness,快速且免费。
- 开源 safeagents:轻量代理拦截 Agent 危险工具调用与 reward hacking — yb2698 · 2026-10-29
- safeagents 架构拆解:ATIF 轨迹格式加 110 个确定性检测器扫描工具调用 — yb2698 · 2026-10-29
- 开源 SafeAgents 代理:运行前拦截编码智能体的每次工具调用 — HauntingMoment · 2026-10-29
第 2 集 · safeagents 新增决策模型接入与 log-only 观察模式(2026-10-29,2 条)
safeagents 在默认基于规则检查之外,支持通过简单参数接入任意决策模型 API,对可疑工具调用做强检查,模型只需输出简短 JSON 判决,本地小模型即可胜任,反馈速度快。对于还不放心直接拦截的用户,新推出的 --log-only 模式会照常检查每次工具调用但不拦截,Agent 行为完全不变,并附带实时终端仪表盘便于观察。
- safeagents 推出 --log-only 模式:只记录不拦截,附实时终端仪表盘 — yb2698 · 2026-10-29
- safeagents 支持插入决策模型:仅审可疑调用,本地小模型即可胜任 — yb2698 · 2026-10-29