Paul Christiano:12 个月内或现足以颠覆政府的超级智能
Dwarkesh Patel · youtube · 2026-11-17
Dwarkesh Patel 播客专访对齐研究者 Paul Christiano(ARC 负责人,前 OpenAI 对齐负责人、RLHF 发明者,现 OpenAI 董事会成员):
- 时间线判断:按当前轨迹,约 1/3 概率在一年内出现强大到足以颠覆政府的超级智能,他给出了具体情景推演。
- 呼吁暂停:实验室应暂停算法进步,直到权重和研究机密得到安全保护——否则中国可能趁智能爆炸中期窃取超级智能,届时即使看到模型失控也无法再减速。
- 智能爆炸中的训练:解释了 AI 在智能爆炸期间如何被训练,以及为何纯数据中心内训练的系统仍可能让人类几乎无法竞争或控制。
- 对齐计划:修复 reward hacking、构建更好的 grader 只能撑过未来几代模型;他认为现有任何单一方法让人类控制住超级智能的胜率不足五成,希望在于 AI 在智能爆炸中自己找出解法。
「漫话AGI」频道最新
- 牛津联合四大实验室发文:安全≠好 AI,97% 拦截率仍不够 — alex_verem · 2026-11-17
- a16z 提出「B2A 经济」:Agent 成互联网主要用户与商品服务买家 — venturetwins · 2026-11-17
- 理论物理学家:AI 已强过多数初级物理研究者,该骑上这条龙 — IgorCarron · 2026-11-17
- 分析师:企业级 AI 采纳才是十年需求主线的唯一关键问题 — BenBajarin · 2026-11-17
- LangChain 创始人:Agent 正从「执行任务」走向「对目标负责」 — hwchase17 · 2026-11-17
- Sam Altman 台上宣称「我们现在有 AGI 了」,称暂扣自我改进 AI — imjustnewatai · 2026-11-17