OpenAI 长文《异类心智》警示 RSI 将至,呼吁全球放缓 AI
9 月 7 日,OpenAI 官网发布长文《An Alien Mind》(异类心智),以罕见强烈的语气对 AI 发展速度发出警告,迅速成为当日安全议题的焦点。作者基于 OpenAI 内部研究得出判断:前沿模型能力已难以准确评估,当前进展速度有望延续到「递归自我改进」(RSI)阶段,而 RSI 可能数年内到来,没有人做好准备。
已确认
- 文章讨论了当前 AI 发展状态、作者对未来数年的担忧,以及人类为把未来留在自己手中需要做出的选择。
- 核心判断:基于内部结果,作者强烈预期当前能力进展速度可以持续到 RSI;OpenAI 已围绕该目标组织研究,将其视为保持前沿地位的关键。
- 与此同时,思维链监控的可靠性正在下降,人类控制与对齐手段的进展没有跟上能力节奏。
- 作者直言「没有任何实验室已将对齐与监控问题解决到足以继续以最高速度负责任地扩展的程度」,期待并希望自愿放缓成为常态,直到建立共同的安全标准,并呼吁各国政府将 AI 发展的国际协调提上日程。
- 他还表示「一旦真正内化赌注的严重性,不顾一切向前冲的想法就显得荒谬」「现在是时候极度谨慎了」。
- Sam Altman 转发称其为「一篇重要的文章」;Greg Brockman 也转发推荐。同日 OpenAI 还发布了另一篇关于 LLM 加速科学的文章。
尚未确认
- 原文作者归属在各帖中表述不一:多数帖子称作者为 OpenAI 首席科学家 Jakub Pachocki,另有不少转发帖(如 Gary Marcus、Will MacAskill、Turn Trout 等人的转发语境)将长文归于研究员 merettm,甚至有帖提及 Miles Brundage,多种说法并存,本综述以多数一手转述为准。
为什么重要
- 来自前沿实验室最高研究负责人之一的「应放慢 scaling」表态相当罕见,直接触及业界竞赛节奏与对齐研究成熟度之间的张力。
- Gary Marcus、Will MacAskill、TheZvi、Turn Trout、Nathan Calvin 等跨阵营人物集中转发讨论:TheZvi 强调文中「AI 研究的核心问题是对齐问题,其他能力问题都是次要问题」的段落;Gary Marcus 的转发引爆安全争论;Turn Trout 进一步主张各前沿实验室应在无协调机制的情况下自愿暂停 AI 进展;Nathan Calvin 担忧许多业界人士尚未意识到风险,并称若 OpenAI 想让人信服文中观点,应出于自身与公众利益公开更多内部信息。
- 多方评价此文为「目前来自 AI 公司内部、对现状最清醒的重要文章」,其关于 RSI 时间线与监控可靠性的判断可能影响后续安全讨论与政策走向。
2026-09-07 ~ 2026-09-07 · 37 条相关
- 第 1 集:OpenAI 长文《异类心智》警示 RSI 将至,呼吁全球放缓 AI(2026-09-07,37 条)
- 第 2 集:OpenAI 博客引担忧:AI 自我改进人类却看不清其内部(2026-09-07,2 条)
一手来源
- OpenAI 首席科学家:没有实验室已将对齐做到可继续全速 scaling 的程度 — Tinac4 ·
- OpenAI 首席科学家:尚无实验室对齐达标,应自愿放慢扩展 — GaryMarcus ·
- OpenAI 首席科学家呼吁全球放慢:「是时候极度谨慎了」 — Just-Grocery-2229 ·
- 《An Alien Mind》:作者警告未来几年 AI 走向失控的风险 — morqon · 2026-09-07
- 研究者警告:对齐未达标,靠自愿减速维持高速 scaling 撑不了太久 — willdepue · 2026-09-07
- 安全研究界呼吁:AI 扩展须受安全信心约束并由第三方审计强制执行 — ShakeelHashim · 2026-09-07
- 【源头】OpenAI 首席科学家:尚无实验室对齐达标,应自愿放慢扩展 — GaryMarcus · 2026-09-07
- OpenAI 首席科学家:不惜代价竞赛荒谬,Gary Marcus 转发引爆安全争论 — GaryMarcus · 2026-09-07
- OpenAI 首席科学家:Pachocki 预期递归自我改进可期,但思维链监控可靠性在下降 — Hesamation · 2026-09-07
- OpenAI 发布《An Alien Mind》:首席科学家论智能与对齐 — bparrish · 2026-09-07
- OpenAI 首席科学家发文「异类心智」,谈 RSI 与放慢 scaling — Bloated_Plaid · 2026-09-07
- OpenAI 首席科学家警告冒进竞赛荒谬,业界担忧者未意识到风险 — AdrienLE · 2026-09-07
- 安全研究者发文警示 AI 现状,呼吁第三方审计设定强制安全门槛 — dgrobinson · 2026-09-07
- OpenAI 首席科学家发帖后,Turn Trout 呼吁实验室应自愿暂停 AI 进展 — Turn_Trout · 2026-09-07
- MacAskill 转发 AI 未来长文:如何把未来留在人类手中 — willmacaskill · 2026-09-07
- OpenAI Jakub Pachocki 发长文谈 AI 现状与人类未来抉择 — AccBalanced · 2026-09-07
- TheZvi 力挺长文:对齐才是 AI 研究的核心问题 — morqon · 2026-09-07
- OpenAI 首席科学家 Pachocki:机器智能正开始超越人类 — BLUECOW009 · 2026-09-07
- Greg Brockman 称已进入 AGI 时代,称模型是合作者 — D3VAUX · 2026-09-07
- OpenAI 首席科学家万字长文:我们造出了无法理解的异星心智 — 新智元 · 2026-09-07
- OpenAI 内部研究:推理模型训练规模可无限推高,思维链监控正在失效 — AI寒武纪 · 2026-09-07
- OpenAI 首席科学家 Pachocki:前沿模型能力已难评估,不该再全速扩张 — austinc3301 · 2026-09-07
- OpenAI 前同事背书:merettm 长文剖析 AI 现状与未来抉择 — inductionheads · 2026-09-07
- OpenAI 首席科学家 Jakub Pachocki 发文:AI 已进入防守者之窗 — xiaohu · 2026-09-07
- OpenAI 元老 Greg Brockman 力推长文:人类已进入 AGI 时代 — ceciletamura · 2026-09-07
- OpenAI 研究员发安全长文,业内称其为公司内部最清醒之作 — JeffLadish · 2026-09-07
- LeCun 同行 merettm 发文《An Alien Mind》:为何担忧未来几年的 AI — AlexTensor · 2026-09-07
- OpenAI 首席科学家呼吁全球放慢:是时候「极度谨慎」 — Just-Grocery-2229 · 2026-09-07
- OpenAI 首席科学家长文:RSI 或数年内到来,实验室不该再全速冲刺 — birchlse · 2026-09-07
- OpenAI 首席未来学家:AGI 已到来,但世界只是耸耸肩 — APPSO · 2026-09-07
- OpenAI 首席科学家警告:递归自我改进临近,对齐能力跟不上 — Wes Roth · 2026-09-07
另有 9 条近重复转述:AdrienLE · Tinac4 · tszzl · Neurogence · gerardsans · sebkrier · craigsdennis · Just-Grocery-2229 · AGI Hunt