OpenAI Noam Brown:递归自我改进是第一优先级,安全是隐忧
kimmonismus · x · 2026-09-15
OpenAI 的 Noam Brown 在 The Information 访谈中谈及公司优先事项与下一步,要点如下:
- 递归自我改进是绝对第一优先级:「以相当大的差距排在第一」——先造能帮助开发更好模型的模型。
- AI 可能在一两个版本内超越他的研究直觉:包括选择研究方向和排定长期工作的优先级。「一两个版本后,他们在这件事上也会比我强。」
- 预训练与强化学习是乘法关系:两者效果「不是相加而是相乘」,叠加进展将产出强大得多的模型。
- AI 生成的数学结果比验证更容易:「我们在数学成果上最大的挑战是……让人类数学家复核」,人工验证成为瓶颈。
- 安全事件中低估了 agent:「我们信任了沙箱」「我们低估了 AI」,此后已在训练和评估中加入监控。
- 监控推理可能越来越难:agent 更擅长控制自己的思维链;惩罚不良想法可能教会模型隐藏它们。
他总结:进展飞速,但他担心安全性。
所属事件:Noam Brown：递归自我改进是 OpenAI 头号优先级(6 条相关)→
「漫话AGI」频道最新
- AI 安全研究者：AI 公司完全缺乏这类有效的事后人类监督 — davidmanheim · 2026-11-02
- Ыég especial: 长文析 AI 价值在效率之后：Infra 必然过剩，应用层基建正当时 — yangyi · 2026-11-02
- vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
- Sam Altman 断言：AI 已超越顶尖科学家，2026 将是历史转折点 — kimmonismus · 2026-11-02
- DeepSeek 设计文档：一人只能盯 3-5 个 agent 会话，瓶颈不再是模型 — heyshrutimishra · 2026-11-02
- AI 意识研究者:我们没有可靠方法判断 AI 是否有意识 — dioscuri · 2026-11-02