OpenAI 首席科学家 Pachocki:递归自我改进几年内到来,CoT 监控正失效
Don't Worry About the Vase (Zvi) · rss · 2026-09-08
Zvi Mowshowitz 长文解读 OpenAI 首席科学家 Jakub Pachocki 的新文章《An Alien Mind》,称其「毫不掩饰地亮出真话」。
核心立场:
- 基于 2023 年 "RLSlow" 项目的内部结果,Pachocki 预期进步速度可以持续到递归自我改进(RSI)——机器在我们有生之年内将明显比人更聪明,且「已经看到这些系统的形状」
- 没有人为后果做好准备;OpenAI 将在必要时单方面停止进一步 scaling,但也承认需要国际协调等更广泛的干预来执行正式安全标准
- AI 不需要全面超越人类就足以改变世界或造成灾难——只需在足够多的维度上超越
对齐观点:
- 对齐是 AI 研究的核心问题,可分为目标对齐("AI 是否努力完成目标")与价值对齐(在模糊/冲突/对抗情境下依然合理行动);根本挑战是价值观的泛化
- OpenAI 重金投入的 Chain of Thought 监控,效力正在逐步衰减
- 剩下的主要 scaling 论据是对抗规模化 AI 的网络防御
Zvi 补充:竞争压力把能力推向「更擅长 RSI、更不擅长数学/医学研究」,而 RSI 与「自动化对齐研究员」在技术树上位置接近,Pachocki 最终押注自动化对齐研究者;对策只能是加速对齐 + 放慢能力扩张双管齐下。
「漫话AGI」频道最新
- OpenAI 研究员吁包容批评，对齐社区与 OpenAI 敌意螺旋引激辩 — AdrienLE · 2026-09-08
- KOL 称 GPT 5.2 是首个超人智能火花,断言经济爆发今年可感 — teortaxesTex · 2026-09-08
- Hinton 再警告超级智能或致人类灭绝,质疑者称从未见可信情景 — AIandDesign · 2026-09-08
- 「与机器人发生关系」被混为一谈:两种伦理问题其实截然不同 — repligate · 2026-09-08
- 李飞飞:AGI 只是营销词,不是科学术语,AI 才是领域的北极星 — ziv_ravid · 2026-09-08
- AI 改写非科技公司组织结构：产品工程负责人正成为最值钱的岗位 — davemccollough · 2026-09-08