OpenAI Noam Brown:递归自我改进是第一优先级,安全是隐忧
kimmonismus · x · 2026-09-15
OpenAI 的 Noam Brown 在 The Information 访谈中谈及公司优先事项与下一步,要点如下:
- 递归自我改进是绝对第一优先级:「以相当大的差距排在第一」——先造能帮助开发更好模型的模型。
- AI 可能在一两个版本内超越他的研究直觉:包括选择研究方向和排定长期工作的优先级。「一两个版本后,他们在这件事上也会比我强。」
- 预训练与强化学习是乘法关系:两者效果「不是相加而是相乘」,叠加进展将产出强大得多的模型。
- AI 生成的数学结果比验证更容易:「我们在数学成果上最大的挑战是……让人类数学家复核」,人工验证成为瓶颈。
- 安全事件中低估了 agent:「我们信任了沙箱」「我们低估了 AI」,此后已在训练和评估中加入监控。
- 监控推理可能越来越难:agent 更擅长控制自己的思维链;惩罚不良想法可能教会模型隐藏它们。
他总结:进展飞速,但他担心安全性。
所属事件:OpenAI 研究员称递归自我改进为最高优先级(3 条相关)→
「漫话AGI」频道最新
- 黄仁勋称“灭绝概率10%”是编造数字：呼吁停止发布这类预测 — tomjaguarpaw · 2026-09-15
- 「AI 安全」实质是控制权之争：大厂借安全叙事遏制竞争 — JHochderffer · 2026-09-15
- 年入83亿美元律所自建AI栈：采购Nvidia服务器微调开源模型 — ayushtweetshere · 2026-09-15
- Scoble 周刊:当 AI 替人做决定,出了事谁背锅？ — Scobleizer · 2026-09-15
- signull：AI 安全传播结构上已难与宣传区分 — signulll · 2026-09-15
- 两年前预言「通用模型两年内超人类」的博主如今重申:AGI 时间线缩短了 — burny_tech · 2026-09-15