Paul Christiano:最快 12 个月出现能推翻政府的 AI

Dwarkesh Podcast · rss · 2026-11-17

Dwarkesh Podcast 访谈 Paul Christiano——ARC 负责人、前美国 AI 安全研究所 AI 安全主管、在 OpenAI 发明 RLHF 的人,近期加入 OpenAI 董事会(此处以公民身份发言)。

核心预测:按当前轨迹、若无任何减速,他认为一年内有 1/3 概率出现强大到足以推翻政府的超级智能,并在节目中给出具体情景。

安全论点:他主张实验室应暂停进一步的算法进展,直到能保护模型权重与研究机密;否则中国可能在智能爆炸中途直接窃取超级智能,届时实验室即便发现模型失控也无法减速。他还解释了智能爆炸期间 AI 将如何被训练,以及为何完全在数据中心内训练的系统也可能具备人类难以竞争与控制的能力画像。

对齐方案:即让超级智能真正按我们的本意行事。修复 reward hack、构建更好的评分器在未来几代模型内仍有用,但他认为目前没有任何单一方法有超过五成的把握控制超级智能,希望在于 AI 在智能爆炸期间自行找到解法。

节目还讨论了 sim-to-real 差距、METR 称 AI 进展翻倍而营收增长放缓的矛盾,以及「边飞边造飞机」这一现有最佳计划。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →