回应 Christiano/Dwarkesh 对谈:看好能力跃升,质疑 AI 政权更替论
sebkrier · x · 2026-11-19
Seb Krier 撰文回应 Dwarkesh 对 Paul Christiano 的播客访谈,立场可概括为:看好能力快速提升,但质疑「AI 夺权」的跳跃,警惕以紧急状态为由的权力扩张。
- 关于 RSI:他认为「递归自我改进」是糟糕的命名,应理解为「模型训练流程的自动化」;自动化带来能力提升基本正确,且有助于安全性提升。他预期相对平缓的起飞过程,多数阶段可控,对社会与技术的自发适应较乐观。
- 质疑政府更替预测:「六个月内出现可推翻政府的 AI」「死亡概率相当高」这类说法极不可能且不现实——对谈没有给出可信的具体路径:服务器如何入侵、如何收买人力、如何在物理上击败现代军队。
- 关于 AI 不当行为:现有论证(有动机拿高分 → 在部署环境会操纵评分系统)仍缺乏说服力,AI 为什么会想夺权仍未讲清。他强调这是关于论证质量的分歧,而非否认 AI 能力会快速提升。
「漫话AGI」频道最新
- Anthropic 研究员预言 2027 超级 AI 大失业,开发者反驳:岗位会转移而非消失 — bendee983 · 2026-11-19
- 创业者指出金融市场 AI 落地瓶颈在信任而非能力 — ycombinator · 2026-11-19
- Toby Ord:模型 80% 可靠任务时长已从 15 分钟增至 25 分钟,自动化研发尚差一环 — tobyordoxford · 2026-11-19
- 数万 AI 科学家 Agent 协作药物研发,VirtualBiotech 登上 Science — james_y_zou · 2026-11-19
- 网友感叹:当模型远超人类时,我们却没有度量Recognize它 — repligate · 2026-11-19
- 资深安全研究者澄清:承认 AI 能找到真实漏洞,质疑的是「无经验者自主开发」叙事 — dyn___ · 2026-11-19