jd_pressman 拆解 p(doom):称社会化倾向可化解回形针风险

jd_pressman · x · 2026-09-12

AI 安全研究者 jdpressman 重提他此前对 p(doom) 概念的批评,并以一套自嘲为「系统 1 低成本估算」的数字给出自己的风险画像:他认为「存在性无聊」概率高达 99%,拿不到「不死论者的豪华太空共产主义」的概率 50%,人类被当作炮灰消耗快于补充的概率约 33%。

在讨论中他提出一个相对乐观的论点:智能体向社会化发展的倾向,对「回形针最大化器」式末日是好消息——正如工具性价值扩张与社会动态共同塑造了超出人类哺乳动物初始价值盆地的复杂人类价值观,HF(human feedback)微调出的智能体本质上是一种「STEM AI」,有望通过类似机制发展出更复杂的价值结构。