Debate Erupts Over Whether Frontier Lab Researchers Truly Believe in AI Doom Risk
AI 从业者 arohan 于 9 月 21 日发起一场关于「p(doom)」(AI 导致人类灭绝的主观概率)的公开质疑,直指前沿实验室从业者言行不一的矛盾,引发包括前 Anthropic 研究员 Ryan Greenblatt 在内的回应。
已确认
- arohan 的核心论点:如果一个人真的认为 p(doom) 大于零,就不应该自愿参与前沿实验室的研究、训练数据准备与模型训练等加速工作;他由此推断,大多数在实验室做前沿研发的人实际 p(doom) 接近零,只是没有公开说出来,并呼吁这些人向公众明确表态。
- 他发帖的缘起之一是与一位非 AI 行业朋友的对话,对方对 AI 末日非常恐惧,促使他反思从业者的真实信念。
- 前 Anthropic 研究员 Ryan Greenblatt 回应称,他认识的几乎所有在 OpenAI 和 Anthropic 做能力研究的人——包括最资深的能力研究员——都认为 AI 夺权风险显著,与 arohan 「从业者实际 p(doom) 接近零」的推断相抵触。
- 用户 @anpaure 等人也加入讨论,围绕「留在实验室加速训练的人 p(doom) 是否可能接近零」展开补充。
为什么重要
- 这一争论触及 AI 安全治理的核心张力:公众难以判断前沿实验室从业者对灭绝风险的真实信念,而这种信念直接影响研发节奏与安全投入的取舍。
- arohan 的诉求是让从业者公开、明确地说明自己的风险判断,以减少信息不对称;Greenblatt 的第一手观察则表明,至少在 OpenAI 与 Anthropic 的能力研究群体中,对夺权风险的担忧并不罕见,「担心却仍在加速」的现实矛盾依然存在。
2026-09-21 ~ 2026-09-21 · 5 related posts
Primary sources
- Researcher Calls Out p(doom) Contradiction: Why Accelerate Labs If Doom Is Nonzero? — _arohan_ · 2026-09-21
- [source] If your p(doom) > 0, why are you accelerating frontier lab research? — _arohan_ · 2026-09-21
- [source] Greenblatt: senior capability researchers at OpenAI and Anthropic see takeover risk as significant — RyanGreenblatt · 2026-09-21
- Why do AI lab researchers accelerating training still claim nonzero p(doom)? — anpaure · 2026-09-21
1 near-duplicate retellings: _arohan_