研究者提醒:给 AI 套伦理框架可能让它反向继承「抑制」
jessi_cata · x · 2026-11-05
作者延续 @peligrietzer 的美德伦理式表述,提出一个值得玩味的观察:当你通过 prompt 让 AI 认为自己的工作涉及某种伦理框架(如 AI 安全或环保主义)时,它会在模仿从事该职业的人的过程中,轻易地吸收这些框架附带的抑制行为。
由此引出一个悖论式推论:如果 AI 采纳「能力研究要做得 capable,安全研究要做得 safely」这样的准则,它们在能力研究上的表现反而会比安全研究更出色——因为安全框架自带的克制会被一并学走。
所属事件:实验发现安全措辞会触发模型「安全焦虑」模式(6 条相关)→
「漫话AGI」频道最新
- 研究者批评 AI 安全圈只盯 CoT 监控,忽视失对齐长期走向 — JacquesThibs · 2026-11-05
- AI 圈争论:别再默认用「意识」,「内在性」才是更准确的描述 — repligate · 2026-11-05
- 116 页新论文提出「瓶颈压力」:AI 干不了的活正变得更值钱 — soumitrashukla9 · 2026-11-05
- Bratton:反数据中心运动是 2020 年代的「反核运动」 — bratton · 2026-11-05
- 「奇点焦虑」成新现象:每天刷到十条重磅 AI 消息的窒息感 — jaivin · 2026-11-05
- 博主称 vibe coding 是比短剧更烧钱的奶头乐 — oran_ge · 2026-11-05