OpenAI 首席科学家 Pachocki 长文：呼吁行业在安全底线前自愿放缓
创业邦 · wechat · 2026-09-07
OpenAI 首席科学家 Jakub Pachocki 发表长文《An Alien Mind》，回顾近十年 AI 发展并给出下一阶段判断。核心观点：AI 更多是被"生长"出来的而非被"设计"出来的，算力扩展是进步的根本驱动。
文章要点：
- 对齐分层：目标对齐（完成任务）已有实践价值，但价值对齐——模型在目标模糊或对抗环境下仍坚持诚实、正直与对人类的爱——远未解决。
- 监控困境：思维链监控是 OpenAI 的核心押注，但推理过程与工具调用日益交织、模型越来越擅长操控自身推理，监控能力正在减弱。他认为 AGI 进展将越来越受监控信心的制约。
- 可扩展防御：继续训练更强模型的最有力理由恰恰是防御恶意 AI——模型入侵计算机系统的能力正超越人类，高能力 Agent 可能影响现实世界大部分基础设施。
- 递归自我改进（RSI）：AI 参与研发下一代 AI 将处于未来科学发现核心，OpenAI 聚焦于此是因为这是保持前沿的唯一途径，但强调挑战在于"让人类始终掌握过程"。
结论：他认为目前没有任何实验室把对齐与监控做到足以全速负责任扩展的程度，希望在建立共同安全底线前，"自愿放缓"成为行业常态，并主张国际协调应成为各国政府最高优先事项。
所属事件:OpenAI首席科学家发文《An Alien Mind》呼吁全球放缓AI(51 条相关)→
「漫话AGI」频道最新
- 单细胞动力学模型 DynaVelo 发表于 Nature Biotechnology — anshulkundaje · 2026-10-23
- e/acc 领袖 Beff Jezos:前沿实验室加速开源才能守住网络安全 — beffjezos · 2026-10-23
- AGI 时代一切皆无意义？一位 Reddit 用户坦言不愿活在那种未来 — peace_venerable · 2026-10-23
- 三步死循环：AI 造问题，再卖 AI 解决问题 — srimisra · 2026-10-23
- EPFL 数学家:AI 证明定理时代,人类理解力价值何在 — snikolov · 2026-10-23
- 调查称约 30% ChatGPT 用户若输出带水印就会减少使用 — PairNaive8654 · 2026-10-23