5% 毁灭概率算高算低？围绕 p(doom) 的分歧与真问题
NathanpmYoung · x · 2026-09-10
Nathan Young 不同意将 p(doom) 简单视为一个数字：5% 的整体毁灭概率既可能「可以接受」也可能「无法容忍」，关键看它如何被解读。
他的核心观点是：从人类诞生起，「发明带来的存亡风险」就一直存在，而人类迄今为止的发明总体上是安全的。真正值得追问的不是那个概率值本身，而是「在我们还来不及叫停之前，风险窗口期有多长」——即失控风险集中出现在哪段无法干预的时间段里。
这场讨论源于对 @sccath 质疑的回应：后者批评 Anthropic、OpenAI 员工的末日概率估计缺乏依据，认为哪怕估计偏差一个数量级，这些风险也不值得冒。
「漫话AGI」频道最新
- AI 业内人坦言：真怕出事，愿烧光股权换 1% 存活率 — EvanHub · 2026-09-10
- Notion CEO:智能可租,上下文须自有 — ivanhzhao · 2026-09-10
- Anthropic研究员反驳：风险未发生不等于担忧者愚蠢 — geoffreyirving · 2026-09-10
- tszzl:用近人类智能的对齐研究理解超智能对齐完全合理 — tszzl · 2026-09-10
- Anthropic 研究员称 AI 灭绝人类概率超 10%,网友调侃「拔电源就行」 — inductionheads · 2026-09-10
- 学者谈 AI 时代学术使命：好奇心是唯一不变的遗产 — kwangmoo_yi · 2026-09-10