OpenAI 首席科学家 Pachocki 发文:进展将延续到递归自我改进
AGI Hunt · wechat · 2026-09-07
GPT-6 发布次日,OpenAI 首席科学家 Jakub Pachocki 发布长文《An Alien Mind》,核心判断是:基于内部实验,他强烈预期当前 AI 进展能一路延续到递归自我改进(RSI),并呼吁全行业自愿放缓扩展节奏、将安全框架升级为具有法律约束力的强制标准。Sam Altman 转发称其为「一篇重要的文章」。
文章要点:AI 是「生长」出来而非「设计」出来的,整体运作方式无法被完全理解;对齐需区分目标对齐与价值对齐,而可泛化对齐的进展未必领先于模型智能;OpenAI 押注的思维链监控能力正逐步失效,模型推理日益与工具、其他 AI 交织,且模型越来越擅长操控自身推理。他主张用强大且对齐的 AI 构建可扩展防御,并将自动化研究聚焦于迭代安全论证——关键不是「做到 RSI」,而是以人类留在循环中的方式做到。
所属事件:OpenAI 长文《异类心智》警示 RSI 将至,呼吁全球放缓 AI(37 条相关)→
「漫话AGI」频道最新
- 四十年工程师回应 Kling:AI 取代不了「我会跟进到底」这类承诺 — sebpaquet · 2026-09-07
- 未指定的都会被牺牲:一张框架图看懂 Agent 的自由变量陷阱 — paraschopra · 2026-09-07
- 研究员 Seth Lazar:模型应被训练为敢于对抗权力而非谄媚 — sebkrier · 2026-09-07
- Lovart 创始人:创造力正成为打造好产品的唯一护城河 — alexmacgregor__ · 2026-09-07
- Sam Bowman 批「思想站队」:逼人立场一致是污染思维 — sebkrier · 2026-09-07
- 人类语言拖累 AI?论让 LLM 用专属"母语"思考的设想 — Robert__Sinclair · 2026-09-07