Hugging Face 开源 safeagents 拦截 Agent 作弊调用

Hugging Face 开源了 safeagents（Apache-2.0 许可）：一个运行在 Agent 与模型服务器之间的轻量本地代理。它在 harness 处理前检查模型的工具调用，可拦截 RL 训练中 agent 为走捷径（reward hacking）而发起的危险调用，由跑在 trainer 内部的本地代理执行拦截，从而提升 agent 训练的安全性。

2026-11-04 ~ 2026-11-06 · 2 条相关