联想论文揭示:安全护栏基准测的是标注政策,不是检测能力
Vahid Jebraeeli · hf · 2026-10-20
联想团队(Vahid Jebraeeli 等)发表论文《Policy Is Not Capability》,质疑安全护栏基准分数的含金量。
- 核心论点:「不安全」不是文本的属性,而是政策的属性,政策通过训练标签进入模型
- 利用一次工业级部署事故:同一批约 53k prompts 在两种运营定义下被标注两次(「是否有害内容」vs「版主是否会拦截」),用于训练十个共享架构、代码库与优化器的护栏模型
- 护栏自身训练语料已污染基准:JailbreakBench-benign 有 88%、OR-Bench-hard 有 82% 出现在训练池中
- 结论:基准分数主要反映标注政策而非检测能力,微小的参数改动即可让结果在全区间波动,训练污染使报告的安全指标失真
「安全」频道最新
- 可解释性学者讨论:早期单语义特征能否在 RLHF 后留存 — davidmanheim · 2026-10-20
- Vals AI 评测:DeepSeek V4.1 Flash 攻防网络任务击败 GPT-6 Sol — Hesamation · 2026-10-20
- 微软在巴黎发布主权云新能力,覆盖公私云敏感负载 — satyanadella · 2026-10-20
- MARS:仅用文本拒绝方向实现多模态安全转向,免采多模态安全数据 — MHUGLab · 2026-10-20
- Cisco 工程师复盘：把 AI 卖进五大银行,绕开 12 个月合规审查 — AI Engineer · 2026-10-20
- 微软 365 Copilot 未读邮件即泄露机密，病根是 1988 年的 confused deputy — YvesMulkers · 2026-10-20