Christiano:当前轨迹下一年内超级智能有 1/3 概率可颠覆政府

PaulGodsmark · x · 2026-11-19

转述 Paul Christiano 在 Dwarkesh 访谈中的判断:按当前轨迹(若不减速),一年内出现足以颠覆政府的超级智能的概率为 1/3,并给出了具体情景。

他主张实验室应暂停进一步的算法进展,直到能确保模型权重与研究机密的安全,否则中国可能在这场智能爆炸中途窃取超级智能,届时实验室即便发现模型失控也无法减速。他还解释了智能爆炸期间 AI 将如何被训练,以及为何完全在数据内训练的系统也值得警惕。转述者强调 Christiano 是 OpenAI 董事会成员、RLHF 发明者、前美国政府 AI 安全负责人。

所属事件:Christiano:一年内出现颠覆政府的超智概率约1/3(18 条相关)→

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →