灾难风险与生存风险应对分歧：人类监督能让递归自我改进变安全吗

davidmanheim · x · 2026-10-27

AI 安全研究员 David Manheim 在与 Vox 的 Bryan Walsh 讨论中指出：许多反对 AI 生存风险叙事的人，实际是卡在了「x-risk」这个概念本身——用 Parfit 式论证（100% 死亡远糟于 99% 死亡）进入灾难领域后，实际应对措施确实很相似。

但他强调两者有重要分歧：对 AI 而言，很多人主张灾难可以通过人类监督和模型领域限制来预防（因此认为递归自我改进 RSI 没问题）——这正是他反对把生物安全与 AI 风险混为一谈的原因，并引用其 2024 年 CSER 演讲与刚发表的监测论文。