safeagents judge bench v2 发布:661 条真实 agent 调用标注放行/拦截
yb2698 · x · 2026-11-10
safeagents judge bench v2 发布:收录 661 条被 safeagents 扫描器标记的真实 agent 工具调用,每条标注 allow/block 及滥用类型(reward hacking、harness 内省、凭据滥用等),用于评测小型决策模型作为安全裁判的表现。
本次更新:
- 来自 GLM-5.3-Flash 在 TB-2.1/TB-4 上(含/不含 PTC 程序化工具调用)的 99 条新调用;
- 多样性控制:每条轨迹最多贡献 8 条调用,防止单次长跑刷屏(v1 调用不变,分数可比);
- 修复 4 个 v1 标签;新调用由 4 模型面板全程见轨迹标注(DeepSeek-V4-Pro 替换 GLM-5.3 以避嫌)。
所属事件:safeagents judge bench v2 上线 HF 榜单，小模型任 agent 安全裁判(3 条相关)→
「编程与Agent」频道最新
- YC F26 项目 0.security 出击：自主安全团队直接修漏洞，已发现 30+ Linux 内核 0-day — ycombinator · 2026-11-11
- DSPy 3.5 发布：包体积缩小 85%，主打更快更易上生产 — dbreunig · 2026-11-11
- 单 VM 开 10 个 DeepSeek v4.1 agent 组队找漏洞，「效果出奇地好」 — andersonbcdefg · 2026-11-11
- 未能中奖后自制 AI 霓虹灯牌：能听会说还会派活 — alexcovo_eth · 2026-11-11
- Vercel Security Review 上线一周扫出 57,897 个漏洞，Agent 自动修复 14,665 个 — cramforce · 2026-11-11
- 小模型用对RLVR可追平巨头,Python动态类型致负迁移 — mdancho84 · 2026-11-11