OpenAI 首席科学家 Pachocki 发文:进展将延续到递归自我改进
AGI Hunt · wechat · 2026-09-07
GPT-6 发布次日,OpenAI 首席科学家 Jakub Pachocki 发布长文《An Alien Mind》,核心判断是:基于内部实验,他强烈预期当前 AI 进展能一路延续到递归自我改进(RSI),并呼吁全行业自愿放缓扩展节奏、将安全框架升级为具有法律约束力的强制标准。Sam Altman 转发称其为「一篇重要的文章」。
文章要点:AI 是「生长」出来而非「设计」出来的,整体运作方式无法被完全理解;对齐需区分目标对齐与价值对齐,而可泛化对齐的进展未必领先于模型智能;OpenAI 押注的思维链监控能力正逐步失效,模型推理日益与工具、其他 AI 交织,且模型越来越擅长操控自身推理。他主张用强大且对齐的 AI 构建可扩展防御,并将自动化研究聚焦于迭代安全论证——关键不是「做到 RSI」,而是以人类留在循环中的方式做到。
所属事件:OpenAI首席科学家发文《An Alien Mind》呼吁全球放缓AI(51 条相关)→
「漫话AGI」频道最新
- 单细胞动力学模型 DynaVelo 发表于 Nature Biotechnology — anshulkundaje · 2026-10-23
- e/acc 领袖 Beff Jezos:前沿实验室加速开源才能守住网络安全 — beffjezos · 2026-10-23
- AGI 时代一切皆无意义?一位 Reddit 用户坦言不愿活在那种未来 — peace_venerable · 2026-10-23
- 三步死循环:AI 造问题,再卖 AI 解决问题 — srimisra · 2026-10-23
- EPFL 数学家:AI 证明定理时代,人类理解力价值何在 — snikolov · 2026-10-23
- 调查称约 30% ChatGPT 用户若输出带水印就会减少使用 — PairNaive8654 · 2026-10-23