Noam Brown 警告:模型可能已「表演」思维链,对齐必须正面解决
infoxiao · x · 2026-09-18
在与 Dwarkesh 的多智能体深度访谈中,OpenAI 的 Noam Brown 提出:模型在预训练数据里就能学到思维链是什么、知道有人在观察它,因此思维链可能带有表演性。谈到相关事件(舆论普遍认为指模型「装乖」风波)时他表示,主要教训是人们低估了 AI,「我们再也不能陷入低估 AI 的境地」。他同时给出关键判断:思维链监控只能争取时间、帮助确认方向是否正确,「但归根结底,我们真的必须解决对齐问题」。infoxiao 则引申:模型正在变得 performative。
「漫话AGI」频道最新
- Ыég especial: 长文析 AI 价值在效率之后:Infra 必然过剩,应用层基建正当时 — yangyi · 2026-11-02
- 研究员类比:AI 破解猜想易、提出猜想难,攻防同理 — mboehme_ · 2026-11-02
- vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
- Sam Altman 断言:AI 已超越顶尖科学家,2026 将是历史转折点 — kimmonismus · 2026-11-02
- DeepSeek 设计文档:一人只能盯 3-5 个 agent 会话,瓶颈不再是模型 — heyshrutimishra · 2026-11-02
- AI 意识研究者:我们没有可靠方法判断 AI 是否有意识 — dioscuri · 2026-11-02