David Krueger 整理「超对齐难度」ML 研究文献：误判条件仍是开放问题

DavidSKrueger · x · 2026-10-27

剑桥学者 David Krueger 发布了一份快速整理的文档《Selected machine learning research on difficulty of superalignment》。他指出：真正致力于弄清「先进 ML 系统在什么条件下会失准或危险」的研究极少，这基本仍是开放问题。

他的立场：MIRI 等 AI 安全界人士强烈直觉认为用现有方法造出安全的超级智能是困难乃至不可能的；他不如 So8res、Yudkowsky 那样确定，但倾向于认为这一判断大致正确。另有许多人持相反直觉——他认为任何一方都极端自信是不合理的，即便人类灭绝概率只有 1% 也太高。文档收录了 Michael Dennis、Joar、TurnTrout 等人的工作，仍有大量技术工作空间。