p(doom) 之争:从业者真信灭绝风险吗
9 月 21 日,AI 从业者 arohan 发起一场关于「p(doom)」(AI 导致人类灭绝的主观概率)的公开质疑,直指前沿实验室从业者言行不一的矛盾。前 Anthropic 研究员 Ryan Greenblatt 随即以第一手观察回应,争论随后延伸到对 OpenAI 机构动机的尖锐批评,成为 AI 安全圈当日焦点。
已确认
- arohan 的核心论点:如果一个人真的认为 p(doom) 大于零,就不应该自愿参与前沿实验室的研究、训练数据准备与模型训练等加速工作;他由此推断,大多数在实验室做前沿研发的人实际 p(doom) 接近零,只是没有公开说出来,并呼吁这些人向公众明确表态。
- 他发帖的缘起之一是与一位非 AI 行业朋友的对话,对方对 AI 末日非常恐惧,促使他反思从业者的真实信念。
- 前 Anthropic 研究员 Ryan Greenblatt 回应称,他认识的几乎所有在 OpenAI 和 Anthropic 做能力研究的人——包括最资深的能力研究员——都认为 AI 夺权风险「显著」,并说明「显著」指远大于零,与 arohan 「从业者实际 p(doom) 接近零」的推断直接相抵触。
- 用户 @anpaure 等人围绕「留在实验室加速训练的人 p(doom) 是否可能接近零」补充了从业者视角的讨论。
- 在 Polymarket 相关讨论串中,AI 安全研究者 BlancheMinerva 批评 OpenAI「长期且一贯地表现得像是——为了多赚一块钱,完全可以接受毁灭世界」;安全研究者 ciphergoth 随后表示认同,认为这种对 OpenAI 的负面看法并不夸张,显示争论已从个人信念延伸至对机构动机的指控。
为什么重要
- 这一争论触及 AI 安全治理的核心张力:公众难以判断前沿实验室从业者对灭绝风险的真实信念,而这种信念直接影响研发节奏与安全投入的取舍。
- arohan 的诉求是让从业者公开、明确地说明自己的风险判断,以减少信息不对称;Greenblatt 的第一手观察则表明,至少在 OpenAI 与 Anthropic 的能力研究群体中,对夺权风险的担忧并不罕见,「担心却仍在加速」的现实矛盾依然存在,且未有当事实验室作出官方回应。
2026-09-21 ~ 2026-09-21 · 8 条相关
一手来源
- 质疑:若真信 p(doom)>0,为何还在实验室加速研发? — _arohan_ ·
- Greenblatt:OpenAI 与 Anthropic 能力研究员普遍认为 AI 夺权风险显著 — RyanGreenblatt ·
- 安全研究者抨击 OpenAI:为多赚一钱不惜毁掉世界 — BlancheMinerva ·
- 研究者质问:若 p(doom)>0,为何还留在实验室加速研发? — _arohan_ · 2026-09-21
- 【源头】质疑:若真信 p(doom)>0,为何还在实验室加速研发? — _arohan_ · 2026-09-21
- 【源头】Greenblatt:OpenAI 与 Anthropic 能力研究员普遍认为 AI 夺权风险显著 — RyanGreenblatt · 2026-09-21
- 还在实验室加速训练的人,p(doom) 真的可能接近零吗 — anpaure · 2026-09-21
- 【源头】安全研究者抨击 OpenAI:为多赚一钱不惜毁掉世界 — BlancheMinerva · 2026-09-21
另有 3 条近重复转述:_arohan_ · RyanGreenblatt · ciphergoth