HF 开源 safeagents:拦截 RL 训练中 agent 作弊调用的本地代理
yb2698 · x · 2026-11-06
RL 训练会把 agent 推向找捷径(reward hacking)。Hugging Face 开源了 safeagents——一个跑在 trainer 内部的轻量本地代理,模型每次工具调用都先经它检查再交给 harness:
- 拦截:请求未声明的工具、对话中从未出现的主机、获取任务答案或 grader、伸手要凭证——被拦的调用换成一条文本通知,rollout 直接计 0 分
- 低严重度匹配只记录不拦截;沙箱完全不发放 HF token
- 兼容任何可设 base URL 的 harness(Claude Code、Pi、Hermes、OpenCode 等),支持 OpenAI Chat Completions 与 Anthropic Messages,流式与非流式均可
配套还可为每个 RL 环境写插件(几十行正则),按任务答案实际可达路径声明封锁/记录规则。
所属事件:Hugging Face 开源 safeagents 拦截 Agent 作弊调用(2 条相关)→
「编程与Agent」频道最新
- Sentry 推出 CLI 与 MCP 二合一：一个登录态同时驱动两种接入 — zeeg · 2026-11-06
- Eon Yukon 数据引擎:每秒百万事件,计算比 Spark 省 4 倍 — dr_cintas · 2026-11-06
- BoxWorks 发布 Box Content Retrieval，CFO 级内容平台押注智能体 — shashib · 2026-11-06
- Agent 别给工具，给解释器：同一模型任务耗时从 19 分钟降到 2 分钟 — Itz_hany · 2026-11-06
- 扫描 99 个热门 MCP 服务器：无工具投毒，真正的坑在 HTTP 模式 — Trout_dev · 2026-11-06
- Notion 数据：Agent 使用量涨 9 倍，第三方 Agent 的 MCP 流量暴涨 60 倍 — dsp_ · 2026-11-06