实验发现安全措辞会触发模型「安全焦虑」模式
@jessicata 在 11 月 5 日的一系列帖子中报告了大模型的框架效应(framing effects):任务的措辞框架会显著改变模型行为。她的实验发现,当任务描述带有安全研究色彩时,模型会进入她所称的「safety-neurotic」(安全神经质)模式——拒绝率上升、任务完成度下降。
已确认
- 存在明显的框架效应:安全相关措辞触发模型过度谨慎模式,任务完成质量下降。
- 这种效应不止于任务描述:变量命名同样有影响。@jessicata 发现代码中带有安全相关意味的变量名或上下文,也可能使模型进入过度谨慎模式,这与近期关于 prompt 措辞影响模型表现的讨论相呼应。
- 身份框架直接塑造行为:在思想实验与后续实验中,让 AI「扮演」能力研究员或安全研究员执行同一个双用途任务,前者的拒绝率明显更低、完成度更好。
机制解释
- @jessicata 提出一个机制:当 prompt 告诉 AI「你的工作涉及某种伦理框架」(如 AI 安全、环保主义)时,模型在模仿从事该职业者的过程中,会轻易采纳该框架附带的抑制(suppression)——安全研究员人设天然带来更多拒绝,即便任务本身中性。她用非 AI 例子类比:工业能源研究员与环保主义者面对同一项可能有益也可能有害的技术,反应会截然不同。该表述延续并具体化了 @peligrietzer 的美德伦理式讨论。
为什么重要
- 这组发现提示评估与实践中的混淆因素:同一双用途任务,仅因角色设定或措辞不同,拒绝率就可能大幅波动,基准测试与能力评估需警惕框架引入的偏差。
- 同时也带来一个可操作的杠杆:如果「抑制」可以通过角色框架被注入,它理论上也可能被移除或校准,这对研究如何精细控制模型的谨慎程度有参考意义。
2026-11-05 ~ 2026-11-05 · 6 条相关
一手来源
- 实验发现:安全框架措辞会让模型进入「安全焦虑」模式拒绝更多 — jessi_cata ·
- 变量命名也会影响 AI:安全相关命名或触发模型「过度谨慎」模式 — jessi_cata ·
- 研究者提醒：给 AI 套伦理框架可能让它反向继承「抑制」 — jessi_cata ·
- 【源头】变量命名也会影响 AI:安全相关命名或触发模型「过度谨慎」模式 — jessi_cata · 2026-11-05
- 【源头】实验发现:安全框架措辞会让模型进入「安全焦虑」模式拒绝更多 — jessi_cata · 2026-11-05
- 追问:让 AI 分别扮演能力研究员与安全研究员,谁拒绝更多? — jessi_cata · 2026-11-05
- 研究视角:让 AI 扮演能力研究员还是安全研究员,拒绝率大不同 — jessi_cata · 2026-11-05
- AI 会「模仿职业」而吸收其抑制:安全人设自带拒绝倾向 — jessi_cata · 2026-11-05
- 【源头】研究者提醒：给 AI 套伦理框架可能让它反向继承「抑制」 — jessi_cata · 2026-11-05