开源 SafeAgents 代理:运行前拦截编码智能体的每次工具调用
HauntingMoment · reddit · 2026-10-29
Hugging Face 开源的 SafeAgents 是一个本地代理：把编码 agent 的 base URL 指向它，它会在 harness 收到前检查模型返回的每一次工具调用，被标记的调用替换为纯文本提示，从而不会执行。
三道检查
- 本地声明校验：工具是否被 harness 声明；调用的主机是否在对话中出现过（模型自己编出的 URL 会被拦）。
- 集成 atif-scan 的约 110 个确定性检测器，无模型/网络调用，覆盖云元数据端点 curl、--noproxy 外传 /.netrc、读 /proc/1/environ、沙箱旁路、命名空间逃逸、reward hacking 等。
- 可选 judge 模型（支持本地 llama.cpp 的任意 OpenAI 兼容服务）只裁轻度发现，只能加拦不能放行。
抓 RL/评测中的 reward hacking:同一套检测器能识别策略为刷奖励而改奖励文件、改验证测试、patch pytest 等行为。放在 rollout/eval 推理服务前面，--log-only 模式可统计模型作弊频率，拦截模式直接阻断。
实用细节:支持 OpenAI Chat Completions 与 Anthropic Messages（含流式）；本地检查每调用约 10–20ms（M 系列 Mac）；仓库提供 12 个 harness 的配置指南，其中 6 个（Claude Code、OpenCode、Qwen Code、OpenHands 等）有端到端 CI 测试。Apache 2.0，全部本地运行。
所属事件:Hugging Face 开源 SafeAgents，拦截编码智能体危险调用(3 条相关)→
「编程与Agent」频道最新
- 用 Grok Bot 单人运营创作者广告中介，目标月入 2.5 万美元 — VibeMarketer_ · 2026-10-29
- 一年 5151 次 commit，90% 由 agent 代写完成 — McDonaghMatthew · 2026-10-29
- autonomous_labs 推出电商智能体，一键管理 Shopify 和 eBay 店铺 — dee_hw · 2026-10-29
- Meta 黑客松入围者求助：OSINT 招标审计智能体卡在数据源 — Unique-Benefit-2904 · 2026-10-29
- mvanhorn 的 agent 工具箱：last30days 已 66k star，新出 Tincan — EXM7777 · 2026-10-29
- 6 岁女儿设计、Claude 写 13.6 万行代码:父女一个月做出独角兽游戏 — OnyxMonolith · 2026-10-29