Paul Christiano警告:AI夺权风险或就在未来6-12个月内
Don't Worry About the Vase (Zvi) · rss · 2026-11-20
Zvi 长文解读 Dwarkesh Patel 对 Paul Christiano 的播客访谈(另附三场讲座),这是 Christiano 给出的一次紧急公开警告:
- 核心判断:我们可能在一年内造出几乎全面超越人类、且人类无法竞争或控制的 AI;若不显著减速,一年内出现超级智能的概率约 1/3,失控风险超过 10%。
- 具体担忧:AI 研发本身日益自动化,将引发研发能力的爆发式增长;前沿实验室安全性不足——部署在 Azure/AWS 上的模型权重几乎不可能防盗;风险评估与治理机制也不足以察觉失控前兆。
- 进展加速:METR 与 Anthropic 的内部数据与公开 benchmark 一致,显示过去 6-12 个月 AI 进度大致翻倍,连「快派」也低估了速度。
- 政策主张:暂停前沿算法进展,优先补齐安全与对齐;否则暂停后权重被窃只会让局面更糟。
- Zvi 还讨论了「AI 为何想夺权」「夺权如何发生」「超智能从模拟到现实的迁移」等章节,认为当前唯一方案是「边飞边造飞机」。
「漫话AGI」频道最新
- AI 交易等于算力建设时代或终结,效率增益将让市场「很快变怪」 — matt_slotnick · 2026-11-21
- 人类情绪是生物硬件的过时遗留,AI 能否帮人调节情绪 — irinarish · 2026-11-21
- Google 邀传记作家 Isaacson 对谈:AI 时代的创造力与人类判断力 — OnlineInference · 2026-11-21
- Ilya 播客金句:这一切正在发生,简直像科幻小说成真 — willdepue · 2026-11-21
- 黎曼猜想真被证明了会改变什么?答案:几乎不影响日常,四页纸加 1700 万行 Lean — stingning · 2026-11-21
- AI 监管之争的关键分歧:该防风险,还是防监管被滥用 — herbiebradley · 2026-11-21