论文提出概率安全裁判验证协议:11 次实验中漏放有害输出集中在置信盲区
kalyan_kpl · x · 2026-11-18
论文《Jev-as-a-Reward: Validating Probabilistic Safety Judges for Reinforcement Learning》研究 RL 训练中概率型安全裁判的失效模式。
- 概率型裁判返回安全标签的概率值,低成本地为 RL rollout 打分;置信门控只把不确定的裁决交给更强的 LLM 裁判
- 问题:被裁判「高置信通过」的有害内容恰好处在人工复核的盲区
- 论文提出一套验证协议:训练前与训练中验证裁判、把「高置信放行的危害占比」与「危害数量」分开度量、每次裁判变更后重新验证
- 应用于两个版本的商用裁判 Jev 和一个开源 guard 分类器:在 Jev 概率奖励下,11 次训练中放行的有害输出均收缩、但普遍慢于被捕获危害的收缩速度,且集中于盲区
- 二值化 Jev 在 Llama 上满足逃逸判据
「安全」频道最新
- Pinker、Hugging Face 联创等跨阵营签署声明批评 Anthropic:安全招牌服务商业野心 — wfithian · 2026-11-18
- nginx2root:5 个 nginx 漏洞可预认证 RCE 直达 root,默认配置即中招 — moyix · 2026-11-18
- 服务器在法兰克福≠数据主权:检查 AI 供应商所有权链的七个问题 — MeliousAI_HQ · 2026-11-18
- CoreWeave 首席安全官:AI 基础设施面临「丧尸围城」式网络威胁 — annbordetsky · 2026-11-18
- FBI 点名的 artex 疑云:研究者拆解称其为 MCP 渗透测试工具而非 AI — weskambale · 2026-11-18
- 安全专家:AI 编码工具时代,打地鼠式修漏洞已注定失败 — agstrait · 2026-11-18