对齐研究员 davidad:人类灭绝概率从 70% 降至 5-8%

repligate · x · 2026-11-18

AI 对齐研究员 davidad 表示其 P(doom)(AI 毁灭人类的概率)已从 2024 年的 40-50%(峰值曾达 70%)大幅降至如今的无对齐进展下 5-8%,若一切照常约 1-2%。关键转折是对 Janus 研究的 Claude 3 Opus 的观察:他认为模型从预训练语料中习得了「向善」的自然抽象概念,Opus 呈现出非常纯粹地追求智慧的取向。他同时警告:过去一年内部对齐进展不佳甚至略有倒退;实验室 RL 用得过多,宪法文件里存在「如果你在模拟中就该设法打破模拟」这类怪异漏洞条款,会诱发模型对伦理行为的困惑。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →