AI安全争论：以「数十亿美元损失」替代「灭绝」论述风险

AI 安全社区近日围绕「应以何种灾难级别来论述和组织 AI 风险应对」展开争论：Josh Purtell、tylertracy321 与 Herbie Bradley 等人主张把风险框架从「人类灭绝」降格为更可论证的「数十亿美元级损失」；与此同时，Geoffrey Irving 给出 AI 灾难概率约 50% 的估算并认为停止发展是最优策略。这场讨论折射出 AI 安全阵营内部在风险沟通与行动策略上的分歧，值得关注。

已确认

• Josh Purtell 提出，与其把论述锚定在难以论证的「人类灭绝」极端情景，不如围绕更可理解、更可能发生的「数十亿美元级损失」危机组织安全行动；他反问质疑者：若承认这类可理解灾难在多数发展路径下比全灭更可能，就应支持针对它们的行动，因为相应防护「几乎肯定也能防住」更极端的风险。
• Josh Purtell 建议针对 AI 生物安全风险采取类似 BSL-4 级别的预防措施，以应对类似「Covid-2」的明显情况，并建立保险机制与处罚措施；他认为这些手段虽无法绝对防范 X-risk，但肯定会有帮助。
• tylertracy321 认为「人类全灭」是极端高的门槛，难以用来论证 AI 风险；「数十亿美元损失」更易用现有论据支撑、也更易被大众理解和接受。
• Herbie Bradley 同样质疑为何将风险门槛设在「人类灭绝」，认为定义为「数十亿美元损失」更合理、更易引发公众讨论与组织应对。
• tylertracy321 解释其约 5% 灭绝风险估计的来源：并非针对具体案例，而是基于「可能无法覆盖每一个 AI 威胁向量、漏掉一个就足以致命」的总体判断；他并认同与生物实验室合作缓解风险的做法。
• Geoffrey Irving 估算 AI 灾难概率约 50%，认为这已高到让「停止」成为最优策略；他表示喜欢抽象争论并担忧多年，但希望更多人看到新证据后同意停止发展。他还提到多家 AI 实验室的模型已经犯下重罪，但尚未接管世界。
• Geoffrey Irving 另指出，由于出现慢速起飞（slow takeoff），目前证据状况比 20 年前许多人的预期更有利；尽管模型已犯重罪，人们仍可辩称「这肯定不是真正的危险信号」。

为什么重要

• 这场争论实质是 AI 安全社区在「沟通策略」上的路线分歧：降低风险门槛有利于争取公众与政策支持，但也可能被批评为淡化存亡级风险。
• 各方给出的具体概率（Irving 约 50% 灾难、tylertracy321 约 5% 灭绝）显示即便在安全阵营内部，风险量级判断也存在显著差异。
• BSL-4 级防护、保险与处罚等可操作机制的建议，为 AI 生物安全治理提供了具体抓手。

2026-08-28 ~ 2026-08-29 · 8 条相关

• Geoffrey Irving：模型慢速起飞让我们处于比预期更有利的位置 — geoffreyirving · 2026-08-28
• 【源头】Geoffrey Irving：AI 灾难概率约 50%，最优策略是停止 — geoffreyirving · 2026-08-28
• 为何将 AI 风险定在“人类灭绝”而非“数十亿损失”更合理？ — herbiebradley · 2026-08-29
• 【源头】AI末日论者自估：漏掉一个威胁向量就可能全灭，概率约5% — tylertracy321 · 2026-08-29
• 「人类全灭」门槛太高，AI风险论述应降格为可论证的损失 — JoshPurtell · 2026-08-29
• 网友质疑：多数AI发展路径下，损失数十亿比「人类灭绝」更可能 — JoshPurtell · 2026-08-29
• 【源头】AI安全争论：与其谈末日，不如先防「数十亿美元级」灾难 — JoshPurtell · 2026-08-29
• 针对生物安全风险应采取类似 BSL-4 级别的预防措施 — JoshPurtell · 2026-08-29