「道德奇点」论证:超级智能价值观不可预测,押注好坏各半不成立

danfaggella · x · 2026-09-21

Daniel Faggella 与 Levi Turk 就 ASI 风险概率展开争论。Turk 认为对方给出的「百万年级行星规模动物园」概率只有万亿分之十二，接近零的概率暗示作者其实「知道」ASI 会如何对待人类且结果糟糕；Faggella 回应称「ASI 对我们做什么不可知、不可测」，并重申其 2018 年文章「道德奇点」的论证：若 ASI 结果不可知，就不能推出「50-50 各半」的对赌——「不可知」与「大概率会好」在逻辑上不兼容。文章核心概念「道德奇点」指超人类或强 AI 系统的价值观演化过快过激，以致无法预测最强系统会珍视什么，从而无法保证其持续遵循任何先前的目标；作者认为道德本质上是任意的、语境化的、可塑的，AGI 将带来不断分裂的道德复杂性，人类几乎不可能在其中存活。