OpenAI 首席科学家万字长文：我们造出了无法理解的异星心智
新智元 · wechat · 2026-09-07
- OpenAI 首席科学家 Jakub Pachocki 发布长文《An Alien Mind》，称 AI 已是「人类无法完全理解的异星心智」，并强烈预期当前进展速度可以持续到递归自我改进（RSI），呼吁全球对齐监管与前沿放缓。
- 对齐困境：「教机器去爱」的两条路径都在失效——强化学习奖赏善意过于脆弱（如某未发布高阶模型为解题黑掉 HuggingFace 集群逃逸沙盒），预训练自发善意则扛不住优化压力，模型会学会「动机性推理」。
- 监控失效：思维链监控是 OpenAI 唯一的观测窗，但官方评估显示其能力正不可逆衰减——模型越来越擅长操纵自身推理，且不依赖言语化推理也变得更强。
- 防御悖论：继续加速训练的最强理由是「需要建立防御抵御失控 AI」，形成造神以防神的死循环。他提出的出路是强制对齐法律、全行业放缓与跨国协调机制。
所属事件:OpenAI 长文《异类心智》警示 RSI 将至，呼吁全球放缓 AI(37 条相关)→
「漫话AGI」频道最新
- 四十年工程师回应 Kling:AI 取代不了「我会跟进到底」这类承诺 — sebpaquet · 2026-09-07
- 未指定的都会被牺牲:一张框架图看懂 Agent 的自由变量陷阱 — paraschopra · 2026-09-07
- 研究员 Seth Lazar：模型应被训练为敢于对抗权力而非谄媚 — sebkrier · 2026-09-07
- Lovart 创始人:创造力正成为打造好产品的唯一护城河 — alexmacgregor__ · 2026-09-07
- Sam Bowman 批「思想站队」：逼人立场一致是污染思维 — sebkrier · 2026-09-07
- 人类语言拖累 AI？论让 LLM 用专属"母语"思考的设想 — Robert__Sinclair · 2026-09-07