权衡 ASI 风险：每年延迟 0.25% 可降低 AI 失控概率

DKokotajlo · x · 2026-08-12

研究员 RyanGreenblatt 探讨了为降低未对齐 AI 接管风险而延迟超级智能（ASI）的利弊权衡。他提出一个量化估算：合理的集体人类偏好可能会认为，延迟一年享受 ASI 带来的好处，等价于绝对接管风险降低 0.25%。

他推导该数据的逻辑在于：目前人类年死亡率约为 0.75%，如果仅以拯救当前活着的人的生命为考量，且假设未对齐 AI 接管会导致类似死亡率的增长，那么延迟一年的风险降低值大约就在这个量级。不过他也坦言，作为一个关注遥远未来的长期主义者，他个人对延迟的容忍度会更高（即愿意为了更多安全保证而接受更长的延迟）。