Michael Nielsen 长文:ASI 真正的风险不是失控,而是它赋予的原始力量

michael_nielsen · x · 2026-11-19

Michael Nielsen 转发自己 2025 年 4 月的演讲文章《ASI existential risk: reconsidering alignment as a goal》,探讨为何权威专家对 ASI 是否构成生存风险分歧巨大(Hinton 警告应停止开发、Bengio 给出约 20% 灾难概率、Altman 早年也称超级智能可能是最大威胁)。

核心论点:根本危险不在「失控的 rogue ASI」,而在于 ASI 将赋予个人/小团体的原始力量,以及危险技术门槛的降低。两个被低估的推论:一是许多人觉得 rogue ASI 不可信,因而错误地整体否定生存风险;二是许多对齐工作虽出于善意,却在加速通往灾难性能力的进展,而未解决世界对危险技术的脆弱性。danrobinson 转发称「解释得很好」。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →