AI风险争论：以「数十亿美元级灾难」替代「灭绝」叙事

8月29日，多位 AI 安全讨论参与者在同一线程中就「如何为 AI 风险论述设定门槛」展开争论，核心分歧在于应以「人类灭绝」还是「数十亿美元级损失」作为组织安全行动的锚点。

已确认

tylertracy321 解释其约 5% 灭绝风险估计的来源：并非针对某一具体案例，而是基于「我们可能无法覆盖每一个 AI 威胁向量，只要漏掉一个就足以致命」的总体判断；他同时认同应与生物实验室合作来缓解风险。
Herbie Bradley 质疑为何将风险门槛设为「人类灭绝」这一极端高度，认为按现有论证，将风险定义为造成「数十亿美元损失」更合理，也更易引发公众讨论与组织应对。
tylertracy321 回应称「人类全灭」是极难论证的门槛，而「数十亿美元损失」更易用现有论据支撑、也更易被大众理解。
Josh Purtell 提出应围绕更可理解、更可能发生的「数十亿美元级损失」危机组织行动，例如像生物安全 BSL-X 级防护那样设计保险方案与处罚措施；他还建议针对生物安全风险采取类似 BSL-4 级别的预防措施以防范类似 Covid-2 的明显情况，认为这类机制虽无法绝对防范 X-risk，但肯定会有所帮助。
Josh Purtell 进一步反问：若在多数 AI 发展路径下「造成数十亿美元损失的危机」比「人类全灭」更可能，就应支持围绕这类可理解灾难凝聚行动，因为针对它们的防护「几乎肯定也能防住存亡级风险」。

这场争论折射出 AI 安全社区内部关于风险沟通框架的深层分歧：以灭绝叙事吸引注意力还是以可论证的中等灾难换取政策与公众支持，直接影响安全议程的优先级与可操作性。值得注意的是，争论双方在实质措施上并不对立——BSL-4 式防护、保险与处罚机制等具体建议获得了跨立场认同。

2026-08-29 ~ 2026-08-29 · 6 条相关