实验发现:安全框架措辞会让模型进入「安全焦虑」模式拒绝更多
jessi_cata · x · 2026-11-05
作者提出一个思想实验:让能力研究员或对齐研究员做同一个「两用」AI 任务,谁完成得更好、拒绝更少?后续实验表明存在明显的框架效应——任务描述中带安全研究色彩的措辞,会触发模型的「safety-neurotic」模式,导致任务完成度下降、拒绝率上升。配图实验显示,Astra 模型在安全框架下的编码任务完成度比能力框架低约 5-6 个百分点,停止或报告阻塞的回合占比高出 13.5 个百分点,而 GPT-5.6 几乎无差异。
所属事件:实验发现安全措辞会触发模型「安全焦虑」模式(6 条相关)→
「安全」频道最新
- OpenAI 与 Linux 内核社区合作推进漏洞报告与修复 — OpenAI · 2026-11-05
- 单个漏洞成本仅 1279 美元,OpenAI 算账 AI 攻防性价比 — OpenAI · 2026-11-05
- OpenAI 披露漏洞管线全流程:发现到补丁全自动,人工只做终审 — OpenAI · 2026-11-05
- OpenAI 自主漏洞管线一次跑通 948 个 Linux 内核提权漏洞 — OpenAI · 2026-11-05
- 减去 SFT 权重差即可溯源模型行为,OpenAI 对齐研究揭示训练归因新招 — corbtt · 2026-11-05
- 作者用无审查模型扫密钥:1.4 美元成本扫出 23 个可用泄露密钥 — dbasch · 2026-11-05