p(doom) 到底指什么:AI 反叛与恐怖分子用 AI 造生化武器算不算

bosmeny · x · 2026-09-18

投资人 bosmeny 发起一场圈内常见但定义模糊的概念辩论:p(doom)(「末日概率」,通常指 AI 导致灾难性后果的主观概率)究竟涵盖哪些情景?

具体争议是:恐怖分子利用 AI 设计生化武器这类「人滥用 AI」的灾难场景,算不算在 p(doom) 之内?还是说 p(doom) 只限于 AI 自身失控、反过来对抗人类的情形?帖子在征集圈内人表态,两种定义会导致对末日风险的估算口径完全不同。