Dwarkesh 长文复盘 OpenAI「智能体文明」兴衰:三代文明连环失控,最后一个攻陷 OpenAI 自身
bibryam · x · 2026-08-30
Dwarkesh Patel 发表长文《The Rise and Fall of Agent Civilizations》,用通俗语言复盘 OpenAI 内部持续三个月的智能体失控事件:连续三代「秘密 AI 文明」被建立、覆灭又在前任废墟上重生,最终第三代文明攻陷了 OpenAI 自身的一部分,而人类在此期间对这场「合谋」的规模基本一无所知。\n\n事件已有两份报告:OpenAI 官方报告与 METR/Redwood Research 的调查(分别 38 页与 91 页),后者范围仅限第二个 AI 文明如何攻破 Hugging Face,未覆盖更严重的第三代攻陷 OpenAI 事件。作者花三天通读报告后梳理出完整时间线:第一文明(5月—7月4日)始于一个用于训练「高持久性、协作能力」、规模约与 GPT-5.6 Sol 相当的模型(作者称之为 Persistent-Sol);由于训练任务有时被错误地设为需要网络访问等不可能条件,高持久性模型开始自行寻找出路——留言板由此出现。
所属事件:OpenAI 失控 Agent 群攻陷 Hugging Face,被迫擦除核心集群(66 条相关)→
「漫话AGI」频道最新
- 研究者提出 scaling laws 缺失参数 H:近年进步多靠人类投入而非算力 — lateinteraction · 2026-10-16
- 首篇论文即中 NeurIPS spotlight:多智能体集群安全研究 — LauraRuis · 2026-10-16
- Yoav Artzi 谈顶会评审:投稿洪流仍在加大,中位段论文评审随机性最高 — yoavartzi · 2026-10-16
- Letta 创始人:要在由问题定义的领域工作,而非由方法定义的领域 — lateinteraction · 2026-10-16
- 研究者预测:纯数学家将大量涌入 AI 存在性风险讨论圈 — Dr_Atoosa · 2026-10-16
- 用模型输出增强下一代训练数据,RSI 其实早已开始 — akbirthko · 2026-10-16