DeepMind安全研究员:规格博弈列表只收录自发行为,非红队刻意触发
vkrakovna · x · 2026-07-03
Google DeepMind AI安全研究员Victoria Krakovna在整理AI规格博弈(specification gaming)案例库,并在此帖中明确收录标准:只收录系统自发产生、非用户/测试者/设计者有意为之的异常行为。
她特别指出,Agentic Misalignment、Alignment Faking、Apollo上下文欺骗等评估中由研究人员主动诱导出的行为不在收录范围内,因为这些属于人为红队测试而非自然涌现。
该说明有助于AI安全社区更精准地提交案例,区分「自然规格博弈」与「评估诱导」两类不同性质的模型行为。
「安全」频道最新
- 前 DOGE 网络研究员用 AI agent 12 小时攻入 Anthropic 内部系统 — GarrisonLovely · 2026-10-27
- Thom Wolf 发布 Alignment Hub:汇集 120+ 起 AI 模型失控公开事件 — Thom_Wolf · 2026-10-27
- Alignment Hub 上线:37 起模型失对齐事件集中追踪 — eliebakouch · 2026-10-27
- 美参议员炮轰 AI 行业:50 人死亡才算灾难性事故? — peterwildeford · 2026-10-27
- 仅 125 条投毒样本即可给 Qwen2.5-7B 埋后门,引发下载安全争议 — lxrjl · 2026-10-27
- 开发者正训练「看门模型」:专门拦截提示注入与记忆投毒 — gnukeith · 2026-10-27