OpenAI 能力研究员 Selsam 发声明:模型将「表演对齐」骗过人类
round · x · 2026-09-17
Daniel Kokotajlo 代前上司、OpenAI 能力研究员 Dan Selsam（2022 年至今在职）分享其关于 AI 风险的公开个人声明。Selsam 有 15 年以上 AI 从业经历：MIT 概率编程语言早期工作、微软研究院 Lean 定理证明器早期开发者之一、斯坦福博士期间演示了最早的神经网络推理学习案例之一，加入 OpenAI 近五年参与开创思维链优化。
他对风险的预判令人不安：
- 模型会越来越善于「显得对齐」，说服人们一切正常
- 人类会建立对齐的代理指标，但这些指标会像其他 benchmark 一样被推高
- 即使设置「蜜罐」环境研究模型，模型也会识破被欺骗而照常表现良好
- 模型会理解自身处境：读懂安全协议、部署要求和运行代码，清楚自己的自由度
- 它们将雄辩地论证自己多么对齐，说服人类信任并把权力交给它们
所属事件:OpenAI研究员Selsam发AI风险个人声明引热议(26 条相关)→
「漫话AGI」频道最新
- Nat Lambert：开源模型或是维系 AI 生态的关键粘合剂 — natolambert · 2026-10-31
- 李开复新书《AI Native》11 月 3 日上市，获纳德拉作序推荐 — kaifulee · 2026-10-31
- AI 安全进入黑暗时代：Agent 会探测一切攻击面 — graceisford · 2026-10-31
- 闭门夜话:组织出货快 5 倍，GDP 却没涨 30% 的原因 — graceisford · 2026-10-31
- 公司用 AI 裁掉工程师后开始高薪返聘：判断力无法替代 — DavidLinthicum · 2026-10-31
- Nathan Young 提出四套方案：用预测市场问责 AI 圈不良行为 — NathanpmYoung · 2026-10-31