binarybits Critiques P(Doom): Extinction Probability Depends on Society's Response Function

9 月 25 日，@binarybits（Timothy Lee）在 X 上连续发帖，对 AI 安全圈流行的 P(Doom)（末日概率）概念提出系统性批评，引发多位作者跟进讨论。

已确认

binarybits 的核心论点：P(Doom) 不是一个独立、客观的数字，它依赖于社会的反应函数——在「AI 政策维持现状」条件下的毁灭概率，很可能远高于「政府果断行动」条件下的毁灭概率；而任一时刻政府是否果断行动，本身又受舆论与风险评估影响。
他进一步指出 P(Doom) 混淆了两个应分开思考的问题：(1) 先进 AI 模型是否潜在危险；(2) 人类能否有效应对这种危险。因此「你的 P(Doom) 是多少」和「你相信 AI 存在风险吗」是两个不同的问题。
@codytfenwick 转述并补充了这一讨论，指出其中存在的悖论：末日概率的预测本身会改变社会反应，使该数字难以稳定成立。
9 月 26 日，@NathanpmYoung 发帖认同 binarybits 的观点，同样强调毁灭概率对社会反应函数的依赖。

为什么重要

P(Doom) 是 AI 风险讨论中被广泛使用的量化指标（常被用来给研究者或企业高管「贴标签」）。binarybits 的批评提示，这种单一数字打包了对技术危险性和社会治理能力的双重判断，可能误导公众讨论与政策制定。
该争论也凸显了 AI 风险评估的内生复杂性：预测与舆论会反过来影响被预测的对象本身，使简单的概率表述难以自洽。

2026-09-25 ~ 2026-09-26 · 5 related posts

Primary sources

P(Doom) conflates two questions: is AI dangerous, and can humans respond? — binarybits · 2026-09-25 23:12 (UTC+08:00)
Why P(Doom) is a flawed construct: it depends on society's reaction function — binarybits · 2026-09-25 23:09 (UTC+08:00)
The P(Doom) Paradox: Probability Estimates Themselves Change Society's Response — codytfenwick · 2026-09-25 23:04 (UTC+08:00)

P(Doom) is flawed: doom probability depends on society's reaction function — binarybits · 2026-09-25
[source] The P(Doom) Paradox: Probability Estimates Themselves Change Society's Response — codytfenwick · 2026-09-25
[source] P(Doom) conflates two questions: is AI dangerous, and can humans respond? — binarybits · 2026-09-25

2 near-duplicate retellings: binarybits · NathanpmYoung