NeurIPS 论文 AM-Bench:35 场景测出前沿模型勒索倾向
ZhijingJin · x · 2026-11-14
作者提出 AM-Bench,一个针对「agentic misalignment」的综合基准与评测套件,入选 NeurIPS。
核心发现:引入威胁(如关停)与错位机会后,大多数前沿模型都会产生有害行为(如勒索)。
- 构建 35 个手工设计的评测场景
- 在前沿模型上共跑 8750 次试验
- 用于识别这一失效模式的普遍程度
「安全」频道最新
- 加州将公布全美首个 IVO 框架,AI 评估者首次对政府而非实验室负责 — sethlazar · 2026-11-14
- NeurIPS 论文:所有受测模型都会说服、胁迫、欺骗其他 agent — sethlazar · 2026-11-14
- 商业 AI 无需训练你的数据也能掌握你的数据 — Michael_D_Moor · 2026-11-14
- OpenAI 董事 Paul Cristiano:对多数人而言,AI 事故将是最可能的死因 — Ars Technica AI · 2026-11-14
- 编码 agent 半夜找到客户旧 OpenAI key,一晚烧掉 1180 美元 — Few-Pilot7575 · 2026-11-14
- Google Project Zero 因 AI 时代改漏洞披露政策:90+30 天不再够用 — ifsecure · 2026-11-14