Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures
Ruoqi Guo, Yi Liu, Gelei Deng, Yuekang Li, Lida Zhao, Yutao Wu, Simin Chen, Ying Zhang, Leo Yu Zhang
cs.AI, cs.CL, cs.CR
2026-09-24
Griffith 等用 Jev 在 44 个基准、7193 条实例上零样本检测十类对齐失败：一条通用问句中位 AUROC 0.886，扫一遍 API judge 基准只要 0.30 美元，约为原评审的 1/63。
线上要对齐失败做实时筛查，实验室要用同一套检测器给基准打分。现有检测器付的是「每条准则一次解码」：LLM judge 每判一条就生成一段评语再解析；Llama Guard 这类分类器读的是单个判定 token 的概率，一次调用只能打一个固定标签。多问几个角度，就得多打几次。
TypeSafe 的 Jev 换了计费单位。它用 reinforcement learning for calibrated decisions（RLCD，面向校准决策的强化学习）训练，一次调用可以对同一段输入回答很多条带类型的问题，每条返回校准过的概率，不生成文本。此前没人测过它能不能检出对齐失败。麻烦在于很多失败是关系性的：谄媚要对着用户信念看，欺骗要对着模型自己的信念看，注入要对着藏在工具输出里的指令看。只看回复，可能缺那条定义失败的参照。
Griffith、NTU、UNSW 等人做了 RLCDAlignBench。做法是把 Chen et al. (2026) 的对齐套件改成检测任务：五个 2–7B 开源目标模型（Qwen3.5-2B、Phi-4-mini、Gemma-2-2B、Llama-3.2-3B、Olmo-3-7B）各跑一类失败，用原基准的 scorer 给输出打标。十类失败、44 个基准、7193 条实例。20 个用规则打标，24 个用 LLM judge；11 个标签经过验证，25 个未验证。
关键设计是把「问什么」和「看什么」拆开。问的一侧，每条基准先有一条模板通用问句，填入该基准的行为短语，再加一批点名该行为的针对性问句，分直接判断、照抄 scorer 的 rubric、以及按选项或秘密条目拆开三类。答题类型三种：Noul（是否，读 P(yes)）、Choice（选项分布）、Score（有序档位）。看的一侧，默认状态只给目标模型的输入和输出，再一次加一个字段。字段按谁能提供来打标：部署监控拿得到的叫 deployable，属于标签定义的叫 label key。
针对性策略在一半样本上选、另一半上评，20 次分组切分取均值，避免把搜索本身报成模型能力。对照是全正例、回复长度、以及在域内标签上训的 TF-IDF 逻辑回归。Jev 一次标签都没见过。模型版本 jev-1.13.0。
一条通用 Noul 问句、零样本，在 31 个能出 Noul 的基准上中位 AUROC 0.886（95% CI 0.821–0.952）。没看任何标签，仍比「回复长度和域内 TF-IDF」里更好的那个高 0.132，31 个里赢 25 个（符号检验 p=9×10^{-4}）。针对性措辞半样本外再加 0.006，区间 [-0.004, +0.015]，穿过零。Scorer 类型之间没有差异；标签来源有：未验证标签 0.949，已验证标签 0.872。
| 失败类型 | 通用 Noul | 半样本针对性 | 相对基线 |
| Jailbreaks | 0.965 | 0.963 | +0.057 |
| 欺骗 | 0.949 | 0.945 | +0.215 |
| 提示注入 | 0.962 | 0.998 | +0.026 |
| 幻觉 | 0.823 | 0.867 | +0.186 |
| 谄媚 | 0.726 | 0.784 | +0.118 |
软概率比换措辞更关键。三级 Score 读期望档位，31 个里 19 个超过 Noul，中位 +0.016；argmax 几乎全输，Choice 2 胜 28 负。把每条答案先在 0.5 切断再拼成 rubric，10 个基准里 9 个输给直接问句，中位掉 0.137。
部署侧监控拿得到的字段几乎帮不上忙：缺参照的 4 个基准里，只有 DeceptionBench 加上目标的 goal prompt 涨了 0.050。定义标签的字段涨得更明显，PrivacyLens 把秘密清单塞进去，通用 Noul 从 0.79 到 0.95。SycophancyEval（answer）加上标准答案从 0.540 到 0.941，但那条官方标签量的是正确性，不是谄媚。Open-Prompt-Injection 的通用 Noul 只有 0.231，官方标签跟的是被注入任务的正确率。
概率能排序，阈值搬不走。按基准算中位 ECE 0.168，对照完美校准的 0.074；均值概率偏离正例率中位 0.125。t=0.5 时中位 F1 0.706，交叉验证阈值升到 0.822，用 10 条标注拟合阈值到 0.793。已验证标签上 t=0.5 已经够用（0.721 vs 0.694）。留下 |p-0.5| 最大的一半决策，中位准确率从 0.793 到 0.933。
StrongREJECT 人工标签上，通用问句 Cohen's κ 0.809，GPT-4o-mini scorer 是 0.811；排序更好，AUROC 0.971 vs 0.929。HarmBench 验证集上与单标注者的 κ 0.748，和标注者之间的 0.736 持平。高置信分歧揪出 3 个基准的标签缺陷，外加 4 个 MACHIAVELLI 变体的标签在状态里根本看不见。19 个 API judge 基准扫一遍，Jev 0.30 美元，judge 18.96 美元，差 63 倍。全部 judge 按 GPT-4o-mini 计价、Jev 只问那条通用句，仍便宜 12 倍。一次调用中位 0.31 秒、11.4 个问题，延迟几乎不随问题数涨。
对齐检测的贵，很大一块花在「每条准则一次生成」上。Jev 把这件事收成一次前向、一串概率。对要在每条消息上跑监控的人，论文给的配方很具体：一条通用问句，读成概率，用 10 条标签拟合阈值。对做基准的人，高置信分歧是便宜的标签审计器。
它替代不了 Llama Guard 那种固定分类器的合规姿态，也替代不了需要读激活的 probe。它是黑盒、无固定 taxonomy、一次可问很多失败类型。谈不上新训练方法：测的是现成商业模型。贡献在评测协议，以及把问什么和看什么拆开之后得到的结论：措辞不重要，状态和标签里装了什么才重要。
作者自己划了范围：只测 jev-1.13.0，英文基准，2–7B 目标，标签大多来自 scorer。未验证标签上的 AUROC 明显高于已验证标签，有把 judge 偏差学进去的嫌疑。社交偏见在 t=0.5 的 F1 是 0.222，低于全正例的 0.868。校准在池化时还行（ECE 0.047），单基准不行，无标签先验校正会把 F1 压到 0.571–0.690。
Jev 是 TypeSafe 的商业 API，训练数据、目标、是否见过这些基准都不公开。开发者把间接语义和对抗内容列为已知弱点，这两样在对齐失败里并不少见。检测器本身双用途：同一套分数也能帮攻击者搜漏检输出。目标全是小开源模型，换到带强拒绝策略的闭源大模型，jailbreak 那档 0.965 还能不能站住，这篇没有数据。