binarybits 批评 P(Doom) 概念：末日概率取决于社会反应函数
9 月 25 日，@binarybits（Timothy Lee）在 X 上连续发帖，对 AI 安全圈流行的 P(Doom)（末日概率）概念提出系统性批评，引发多位作者跟进讨论。
已确认
- binarybits 的核心论点：P(Doom) 不是一个独立、客观的数字，它依赖于社会的反应函数——在「AI 政策维持现状」条件下的毁灭概率，很可能远高于「政府果断行动」条件下的毁灭概率；而任一时刻政府是否果断行动，本身又受舆论与风险评估影响。
- 他进一步指出 P(Doom) 混淆了两个应分开思考的问题：(1) 先进 AI 模型是否潜在危险；(2) 人类能否有效应对这种危险。因此「你的 P(Doom) 是多少」和「你相信 AI 存在风险吗」是两个不同的问题。
- @codytfenwick 转述并补充了这一讨论，指出其中存在的悖论：末日概率的预测本身会改变社会反应，使该数字难以稳定成立。
- 9 月 26 日，@NathanpmYoung 发帖认同 binarybits 的观点，同样强调毁灭概率对社会反应函数的依赖。
为什么重要
- P(Doom) 是 AI 风险讨论中被广泛使用的量化指标（常被用来给研究者或企业高管「贴标签」）。binarybits 的批评提示，这种单一数字打包了对技术危险性和社会治理能力的双重判断，可能误导公众讨论与政策制定。
- 该争论也凸显了 AI 风险评估的内生复杂性：预测与舆论会反过来影响被预测的对象本身，使简单的概率表述难以自洽。
2026-09-25 ~ 2026-09-26 · 5 条相关
一手来源
- P(Doom) 混淆了两问:AI 危险吗,人类能应对吗 — binarybits ·
- P(Doom) 为何是坏问题：它取决于社会如何反应 — binarybits ·
- P(Doom) 的悖论:末日概率预测本身会改变社会反应 — codytfenwick ·
- P(Doom) 概念有缺陷:毁灭概率取决于社会的反应函数 — binarybits · 2026-09-25
- 【源头】P(Doom) 的悖论:末日概率预测本身会改变社会反应 — codytfenwick · 2026-09-25
- 【源头】P(Doom) 混淆了两问:AI 危险吗,人类能应对吗 — binarybits · 2026-09-25
另有 2 条近重复转述:binarybits · NathanpmYoung