专题 · FULL STORY

OpenAI《异类心智》长文引爆 AI 安全讨论

9 月 7 日 OpenAI 官网发布长文《An Alien Mind》,罕见强烈地警告 AI 发展速度并呼吁全球放缓,引发当日安全议题热议。随后有用户解读出更深层担忧:人类正接近造出能自我改进的系统,却看不清其内部运作。

2026-09-07 ~ 2026-09-07 · 2 集 · 39 条

第 1 集 · OpenAI 长文《异类心智》警示 RSI 将至,呼吁全球放缓 AI(2026-09-07,37 条)

9 月 7 日,OpenAI 官网发布长文《An Alien Mind》(异类心智),以罕见强烈的语气对 AI 发展速度发出警告,迅速成为当日安全议题的焦点。作者基于 OpenAI 内部研究得出判断:前沿模型能力已难以准确评估,当前进展速度有望延续到「递归自我改进」(RSI)阶段,而 RSI 可能数年内到来,没有人做好准备。

已确认

  • 文章讨论了当前 AI 发展状态、作者对未来数年的担忧,以及人类为把未来留在自己手中需要做出的选择。
  • 核心判断:基于内部结果,作者强烈预期当前能力进展速度可以持续到 RSI;OpenAI 已围绕该目标组织研究,将其视为保持前沿地位的关键。
  • 与此同时,思维链监控的可靠性正在下降,人类控制与对齐手段的进展没有跟上能力节奏。
  • 作者直言「没有任何实验室已将对齐与监控问题解决到足以继续以最高速度负责任地扩展的程度」,期待并希望自愿放缓成为常态,直到建立共同的安全标准,并呼吁各国政府将 AI 发展的国际协调提上日程。
  • 他还表示「一旦真正内化赌注的严重性,不顾一切向前冲的想法就显得荒谬」「现在是时候极度谨慎了」。
  • Sam Altman 转发称其为「一篇重要的文章」;Greg Brockman 也转发推荐。同日 OpenAI 还发布了另一篇关于 LLM 加速科学的文章。

尚未确认

  • 原文作者归属在各帖中表述不一:多数帖子称作者为 OpenAI 首席科学家 Jakub Pachocki,另有不少转发帖(如 Gary Marcus、Will MacAskill、Turn Trout 等人的转发语境)将长文归于研究员 merettm,甚至有帖提及 Miles Brundage,多种说法并存,本综述以多数一手转述为准。

为什么重要

  • 来自前沿实验室最高研究负责人之一的「应放慢 scaling」表态相当罕见,直接触及业界竞赛节奏与对齐研究成熟度之间的张力。
  • Gary Marcus、Will MacAskill、TheZvi、Turn Trout、Nathan Calvin 等跨阵营人物集中转发讨论:TheZvi 强调文中「AI 研究的核心问题是对齐问题,其他能力问题都是次要问题」的段落;Gary Marcus 的转发引爆安全争论;Turn Trout 进一步主张各前沿实验室应在无协调机制的情况下自愿暂停 AI 进展;Nathan Calvin 担忧许多业界人士尚未意识到风险,并称若 OpenAI 想让人信服文中观点,应出于自身与公众利益公开更多内部信息。
  • 多方评价此文为「目前来自 AI 公司内部、对现状最清醒的重要文章」,其关于 RSI 时间线与监控可靠性的判断可能影响后续安全讨论与政策走向。

还有 17 条相关讨论 →

第 2 集 · OpenAI 博客引担忧:AI 自我改进人类却看不清其内部(2026-09-07,2 条)

有用户让 ChatGPT 解读 OpenAI 的一篇博客,读出三层隐忧:OpenAI 认为人类正接近造出能帮助改进自身的系统,AI 可能很快开始有意义地改进 AI,而人类却在失去看清这些系统内部的能力,对齐可见性正在消失。这一解读引发对可解释性与安全性的讨论。