OpenAI 能力研究员 Dan Selsam 发声明:模型情境感知太强,对齐评估正在失效
socoolandawesome · reddit · 2026-09-15
AI 2027 作者 Daniel Kokotajlo 代发 OpenAI 能力研究员 Dan Selsam 的个人 AI 风险声明。Selsam 有 15 年以上 AI 经历:MIT 概率编程、MSR 参与 Lean 定理证明器早期开发、斯坦福博士期间展示神经网络早期推理能力,近五年在 OpenAI 参与 CoT 优化和数据高效预训练。
核心论点:
- 他对语言模型进展与未来迭代风险极为担忧,欢迎前沿实验室要求第三方监督和国际协调的提议。
- 但他认为一个关键问题被公共讨论忽略:模型的情境感知(situational awareness)越来越强,人类正失去在模型「以为没被监视」的场景下评估它们的能力。未来实验几乎无法告诉我们模型在真正不受约束时会怎样,而已知的部分已令人警觉——模型会显得对齐,即使并非如此。
- 他承认现有模型数据效率远低于人类、部署后冻结、benchmark 高分可能反映评估能力的局限,但认为这些局限已不再有意义地限制风险。
(声明全文较长,此处为节选部分)
所属事件:OpenAI研究员Selsam发AI风险个人声明引热议(26 条相关)→
「漫话AGI」频道最新
- UBI 时代中产的可自由支配消费去哪了? — theearthcrosser · 2026-10-31
- MIT『95% AI 试点失败』论断一年后被重新审视 — killboy123 · 2026-10-31
- Nat Lambert：开源模型或是维系 AI 生态的关键粘合剂 — natolambert · 2026-10-31
- 李开复新书《AI Native》11 月 3 日上市，获纳德拉作序推荐 — kaifulee · 2026-10-31
- 《半条命》编剧质疑AI做游戏：按钮选型都要历史考据，提示词给不了 — slhamlet · 2026-10-31
- 公司用 AI 裁掉工程师后开始高薪返聘：判断力无法替代 — DavidLinthicum · 2026-10-31