一个是非问题测出对齐失败:AUROC 0.886,成本仅为 LLM 评审 1/60
omarsar0 · x · 2026-09-28
一项新工作展示了用 TypeSafe AI 的校准决策模型 Jev 检测模型对齐失败的巧妙方法:
- 方法:向 Jev 提出一个通用的「是/否」问题来评估模型的某个回复,用其概率作为打分,无需额外训练即可有效区分失败回复与正常回复,中位 AUROC 达 0.886。
- 成本优势:在 19 个 benchmark 上,一次 Jev 推理仅花 $0.30,而各基准通常使用的 LLM 评审(如 GPT-4o-mini)一次要 $18.96,成本相差约 60 倍。
- 新基准:研究者还构建了 RLCDAlignBench,整合 44 个现有基准、覆盖谄媚、越狱、欺骗、prompt injection、reward hacking 等十类失败模式。
- 效果:在 StrongREJECT 上,Jev 与人工标注的一致性不输 GPT-4o-mini 评分器,且排序能力更强(AUROC 0.971 vs 0.929);在它与基准标签强烈不一致的地方还发现了潜在问题。
Jev 的核心设计是单次调用内对同一输入回答多个带类型的问题,每个都输出概率。
「安全」频道最新
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 美联储官员警告:银行已拦截 AI 智能体擅动客户账户 — Polymarket · 2026-11-16
- 美国 AI 出口管制豁免商业推荐系统,字节搜索算法获豁口 — zephyr_z9 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 仅信机械可解释性报告,AI 检测结论须给出因果证据 — madeofAjala · 2026-11-16
- 模型对齐致害无人担责,研究者称法律责任真空是灾难 — LuizaJarovsky · 2026-11-16