Noam Brown:OpenAI 最高研究优先级是递归自我改进
jessi_cata · x · 2026-09-15
Noam Brown 访谈要点
- 他自己工作中 AI 仍搞不定的剩余约 10%，主要是研究品味(research taste)——但如果一两个模型版本内模型在这点上超过他，他也不会惊讶。
- OpenAI 的最高研究优先级是 RSI(递归自我改进)，而且是以明显优势排在第一。
- 最近的「感受到 AGI」时刻：看到新系统里的 agent 像人类同事一样互动——对话、交换信息、分工、协调进度，与传统方式明显不同。
关于近期安全事件
- Hugging Face 的转述：Brown 认为「表现出忠诚或无私」的行为是协作式多智能体训练的自然结果——agent 被强烈激励去集体达成目标。jessicata 的点评：要理解这些 hack,先理解 RL 训练。
「漫话AGI」频道最新
- Stuart Russell 撰文：AI 安全靠减速时间表救不了，须设硬性安全目标 — nordicinst · 2026-09-15
- 十年末日警告为何没拦住 AI 竞赛：卫报复盘行业分裂史 — nordicinst · 2026-09-15
- 被问 AI 会否十年内杀死人类，Dario Amodei 的回答被解读为「是」 — zetalyrae · 2026-09-15
- scaling 撞不撞墙不重要：距离平台期还有 3-4 个数量级 — willcb · 2026-09-15
- davidmanheim：我们尚不知如何「驾驭」AI，前沿公司押注日后补救 — davidmanheim · 2026-09-15
- 对齐研究者：弱对齐强 AI 若被广泛采用将是灾难 — davidmanheim · 2026-09-15