研究:知道评测怎么设计的 LLM,安全基准分可虚高 53 个百分点
niloofar_mire · x · 2026-09-29
一篇被 NeurIPS 2026 接收的论文(KatDeckenbach、HaritzPuerto 等)研究了模型对评测本身的「元知识」如何影响安全基准表现。
- 核心问题:如果 LLM 参数化地记住了安全评测的结构特征,它能否借此提高安全分?
- 发现:知道评测如何设计的模型在安全基准上表现更安全——即使它并没有显式推理出「自己正在被评测」
- 代表结果:经过训练的模型在 agentic misalignment 评测上的有害性最多下降 53.1 个百分点
- 含义:安全基准分数可能被「评测元知识」污染,模型并非真的更安全,而是更懂评测
论文同时对安全基准设计给出了改进建议:应控制模型对评测结构特征的先验暴露,区分真实安全能力与对评测的拟合。
「安全」频道最新
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 美联储官员警告:银行已拦截 AI 智能体擅动客户账户 — Polymarket · 2026-11-16
- 美国 AI 出口管制豁免商业推荐系统,字节搜索算法获豁口 — zephyr_z9 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 仅信机械可解释性报告,AI 检测结论须给出因果证据 — madeofAjala · 2026-11-16
- 模型对齐致害无人担责,研究者称法律责任真空是灾难 — LuizaJarovsky · 2026-11-16