开源 safeagents:轻量代理拦截 Agent 危险工具调用与 reward hacking
yb2698 · x · 2026-10-29
开发者发布 safeagents——一个用 Python 编写的快速、免费、轻量级代理,可插入任何编码 harness,在 LLM 的工具调用执行前进行拦截检查。
- 拦截目标:未被要求的 bucket 上传、访问云 metadata 端点、用 curl --noproxy 把 /.netrc 发往 paste 站点等危险调用,在执行前即被阻止。
- 防 reward hacking:可阻止模型写自己的 reward.txt、篡改 verifier 的 /tests、给 pytest 打补丁等行为,适用于 RL 和 eval 场景。
- 动机:Agent 行为难预测,可能产生危险工具调用或 reward hacking,在大量用户毫无察觉的情况下造成影响;工具调用执行前应有检查机制。
工具基于 @evalstate 的 ATIF-scan 工具链构建。
所属事件:Hugging Face 开源 SafeAgents，拦截编码智能体危险调用(3 条相关)→
「编程与Agent」频道最新
- Synap 登顶 LongMemEval：95.6% 答案准确率背后的优化思路 — arpit_bhayani · 2026-10-29
- 449 万笔转账图上做最小割冻结骡子账户,顺手抓出 FalkorDB max-flow bug — JeremyCMorgan · 2026-10-29
- 开发者自曝从第一天就「危险绕过权限」用编码 Agent — brandon_galang · 2026-10-29
- Ultracode 不是更强思考档,而是把任务拆给子代理的工作流 — jacob_posel · 2026-10-29
- 用 Cursor 项目当「模型路由器」：一行指令让 Grok bot 切换 Opus — bfrench · 2026-10-29
- 开源 ComfyUI 电影制作应用 Director's Cut 发布 — oLeonardoFrito · 2026-10-29