Christiano:当前轨迹下一年内超级智能有 1/3 概率可颠覆政府
PaulGodsmark · x · 2026-11-19
转述 Paul Christiano 在 Dwarkesh 访谈中的判断:按当前轨迹(若不减速),一年内出现足以颠覆政府的超级智能的概率为 1/3,并给出了具体情景。
他主张实验室应暂停进一步的算法进展,直到能确保模型权重与研究机密的安全,否则中国可能在这场智能爆炸中途窃取超级智能,届时实验室即便发现模型失控也无法减速。他还解释了智能爆炸期间 AI 将如何被训练,以及为何完全在数据内训练的系统也值得警惕。转述者强调 Christiano 是 OpenAI 董事会成员、RLHF 发明者、前美国政府 AI 安全负责人。
所属事件:Christiano:一年内出现颠覆政府的超智概率约1/3(18 条相关)→
「漫话AGI」频道最新
- 研究者主张:确保 AI 无意识是最优未来,且存在不可逆不对称 — erikphoel · 2026-11-19
- 评论员驳「失业是最大风险」:真正的赌注是人类还能否参与变革 — danfaggella · 2026-11-19
- Mustafa Suleyman 对谈赫拉利:AI 意识、丰裕与人类福祉 — mustafasuleyman · 2026-11-19
- 医疗 CEO 称陷入「AI 冷战」:医院用 AI 多开码,保险公司用 AI 拒赔 — DrDatta_AIIMS · 2026-11-19
- natolambert:AI 安全界不必只听信 Anthropic 一家 — natolambert · 2026-11-19
- Erik Hoel:让 AI 非意识化是文明级要求,回应 qualiaphobia 争议 — erikphoel · 2026-11-19