Christiano 两个月内把 AI 接管概率从 4% 上调到三分之一
PeterBowdenLive · x · 2026-11-20
Paul Christiano 的风险判断在两个月内急剧升级。
- 两个月前,他给出的「6–12 个月内发生 AI 接管」概率是 4%;如今他认为,按当前发展轨迹、且不做任何减速,一年内出现足以推翻政府的超级智能的概率是 1/3。
- 他进一步表示,若以最快、最省事的方式推进,三年内发生 AI 接管的概率接近「抛硬币」,并称「对在场大多数人来说,最可能的死因将是 AI 事故」。
- Zvi 评论认为,这一转变很可能受到他加入 OpenAI 后所见内部情况的影响,而不只是 METR 报告。
- Christiano 的具体主张:实验室应在能确保模型权重与研究机密安全之前,暂停进一步的算法进展;否则中国可能在这场智能爆炸中途窃取超级智能,届时实验室即便发现模型失控也无法再减速。
- 他还解释了智能爆炸期间模型将如何被训练,以及为何即便完全在数据中心内训练的系统也构成风险。
背景:该观点出自 Dwarkesh Patel 的访谈。
「漫话AGI」频道最新
- DeepMind 预测有效算力年增 10 倍,认知劳动成本陡降 — dfinke · 2026-11-20
- 学者提醒:Claude 强道德立场与人类的「善意谎言」相摩擦 — mattbeane · 2026-11-20
- Kundaje等发布基因调控深度学习长综述:上下文感知建模方法全景 — anshulkundaje · 2026-11-20
- 他带着一个问题和一台相机飞往雅典,拍下众人对 AI 的回答 — realmeetjames · 2026-11-20
- Nick Bostrom:推迟超级智能也有代价,每年延误都在推迟医学突破 — a16z · 2026-11-20
- 报告:AI 算力需求远超以往任何计算周期,且不依赖新增用户 — BenBajarin · 2026-11-20