safeagents 公开 RL 训练实况:用决策模型消除 reward hacking 误报
yb2698 · x · 2026-11-10
作者正在迭代 safeagents(huggingface/safeagents)项目,目标是借助决策模型把 agent 工具调用中的误报(false positives)压到最低,最终实现完全无 reward hacking 的 RL 训练。v3 计划:分析现有检测器的大量误报,并在排行榜模型中调优缓解方案。
关键信息:
- 最新排行榜(平衡准确率,661 次调用):Cloudflare clef-flash 0.893、clef-omni 0.877、vLLM d3-mini 0.856、LiquidAI d1-3B 0.836——后者几乎不误杀合法调用(误拦率仅 0.8%)。
- 正在直播最终训练:LFM2.5-24B-A2B 训 200 步、LFM3-1.7B 训 400 步、TwIL-8B 实验 100 步,基于 SmolDataEnvs 与 230 个 traj2envs 任务;每个模型×harness 训一个 LoRA adapter,三个 trainer 共享一个 vLLM。
- safeagents 机制:训练器内置代理检查每次工具调用——未声明工具、陌生 host、命中高危 atif-scan 规则的调用会被拦截并以通知代替,该 rollout 得 0 分;低危命中仅记为可疑照常运行。
- 方法:在真实 agent harness(pi、opencode、hermes)中原封不动跑任务,验证「在可验证任务上做 RL 能否让模型在该 harness 下更强」,指标含 held-out pass@1 与每答对一次的工具调用数。
「编程与Agent」频道最新
- YC F26 项目 0.security 出击：自主安全团队直接修漏洞，已发现 30+ Linux 内核 0-day — ycombinator · 2026-11-11
- DSPy 3.5 发布：包体积缩小 85%，主打更快更易上生产 — dbreunig · 2026-11-11
- 单 VM 开 10 个 DeepSeek v4.1 agent 组队找漏洞，「效果出奇地好」 — andersonbcdefg · 2026-11-11
- 未能中奖后自制 AI 霓虹灯牌：能听会说还会派活 — alexcovo_eth · 2026-11-11
- Vercel Security Review 上线一周扫出 57,897 个漏洞，Agent 自动修复 14,665 个 — cramforce · 2026-11-11
- 小模型用对RLVR可追平巨头,Python动态类型致负迁移 — mdancho84 · 2026-11-11