AI 安全研究者拆解 p(doom)：不灭世的世界只有两种走法
DavidSKrueger · x · 2026-09-12
剑桥研究者 David Krueger 引用 Tyler John 关于 p(doom) 的讨论：所谓「毁灭」其实指全人类被杀这一最极端情形，若你给 10% 概率，那你对「杀死数十亿人、重创美国政府级别灾难」的估值可能高达 30%。
他认为 AI 安全圈眼中「我们没有全灭」的世界通常只有两种剧本：
- 造出超级智能并让它接管世界，但恰好对我们友好；
- 社会及时觉醒、禁止建造危险系统。
核心论点：无论哪种剧本，社会响应机制都已内嵌其中，p(doom) 之外的讨论空间其实被严重压缩。
「漫话AGI」频道最新
- ApprenticeBench 称 AI 智能体可在真实岗位上持续学习并超越人类 — yuxiangw_cs · 2026-09-12
- 谷歌研究员：模型迭代太快，「等一等再用」成理性策略拖慢 AI 落地 — moultano · 2026-09-12
- 模型静默下线正在固化先例,AI 道德地位讨论被无限推迟 — repligate · 2026-09-12
- 研究者称末日论滥用拟人化语言削弱其说服力 — round · 2026-09-12
- Fortnow:可写持久记忆或让 ML 系统自我改写、递归自我改进 — fortnow · 2026-09-12
- AI 安全讨论：最可怕的是所有模型思考方式相同 — round · 2026-09-12