OpenAI 首席科学家 Pachocki:递归自我改进几年内到来,CoT 监控正失效
Don't Worry About the Vase (Zvi) · rss · 2026-09-08
Zvi Mowshowitz 长文解读 OpenAI 首席科学家 Jakub Pachocki 的新文章《An Alien Mind》,称其「毫不掩饰地亮出真话」。
核心立场:
- 基于 2023 年 "RLSlow" 项目的内部结果,Pachocki 预期进步速度可以持续到递归自我改进(RSI)——机器在我们有生之年内将明显比人更聪明,且「已经看到这些系统的形状」
- 没有人为后果做好准备;OpenAI 将在必要时单方面停止进一步 scaling,但也承认需要国际协调等更广泛的干预来执行正式安全标准
- AI 不需要全面超越人类就足以改变世界或造成灾难——只需在足够多的维度上超越
对齐观点:
- 对齐是 AI 研究的核心问题,可分为目标对齐("AI 是否努力完成目标")与价值对齐(在模糊/冲突/对抗情境下依然合理行动);根本挑战是价值观的泛化
- OpenAI 重金投入的 Chain of Thought 监控,效力正在逐步衰减
- 剩下的主要 scaling 论据是对抗规模化 AI 的网络防御
Zvi 补充:竞争压力把能力推向「更擅长 RSI、更不擅长数学/医学研究」,而 RSI 与「自动化对齐研究员」在技术树上位置接近,Pachocki 最终押注自动化对齐研究者;对策只能是加速对齐 + 放慢能力扩张双管齐下。
「漫话AGI」频道最新
- 新研究：AI 智能体谈判能力差，还会故意违约 — menhguin · 2026-10-26
- NBER 研究：仅 2.9% 美国人为 AI 付费，留存率低至 20% — avicgoldfarb · 2026-10-26
- AI 研究员曾预测机器人 2034 年才能跑赢人类，今年已被连续打脸 — ben_j_todd · 2026-10-26
- 别再拿「生物学」当医药研发的代名词：一位 AI 从业者的吐槽 — KevinKaichuang · 2026-10-26
- ESR 谈「Bug 崩坏潮」：封堵前沿模型只会让中国开源模型占便宜 — colinmcnamara · 2026-10-26
- Anthropic 官方报告：初级技术岗位招聘占比从 27% 降至 9% — thione · 2026-10-26