越聪明越不连贯？前 OpenAI 科学家提出 AI 对齐「一团糟」理论
akbirthko · x · 2026-08-09
前 OpenAI 核心科学家 Jascha Sohl-Dickstein 曾撰文提出了一种反直觉的 AI 对齐「一团糟」理论（The hot mess theory）。
- 传统假设的盲点：主流 AI 风险研究通常假设，超级智能体即使目标设定错误（misaligned），其行为也会是高度连贯的（supercoherent），从而带来灾难性后果。
- 智能与连贯性脱钩：作者指出，人类作为地球上最聪明的生物，其行为往往充满了非理性、自相矛盾和目标变更。同理，更高级的 AI 很可能也会表现出这种「不连贯」。
- 重新定义对齐风险：AI 带来风险的原因，可能不是因为它死板地执行某个错误目标，而是因为它的行为方式根本不遵循任何一致的目标。这要求学界跳出「完美理性体」的框架来评估 AI 安全。
所属事件:前OpenAI科学家提出AI对齐“一团糟”理论(2 条相关)→
「漫话AGI」频道最新
- ETH Zurich 提出 LFD：用冻结 LLM 当老师，自然语言驱动药物设计生成器 — rohanpaul_ai · 2026-10-16
- Chamath 称 AI 公司 70-80% 收入来自其他 AI 公司，Zitron 附文质疑 — SumitGup · 2026-10-16
- 用购物 Agent 两个月，二手消费从 $365 涨到 $820 — davidyin44 · 2026-10-16
- 「前沿 AI 研究没有正规路径」：19 岁少年在车库里推进技术引发争论 — repligate · 2026-10-16
- 被问「你会终结人类吗」，AI 的正经回应被网友配上小丑梗图 — dermflork · 2026-10-16
- 斯坦福教授：AI 代写作业全拿高分，期末现场考试集体露馅 — FinanceYF5 · 2026-10-16