Michael Nielsen 长文：ASI 生存风险的真正来源并非失控
jachiam0 · x · 2026-09-12
Jacques 引用并推荐 Michael Nielsen 2025 年 4 月的演讲文《ASI existential risk: reconsidering alignment as a goal》，认为所有人都应一读。
文章核心论点：
- 专家界对 ASI 是否构成生存风险分歧巨大：Hinton 认为应考虑停止研发，Bengio 估计约 20% 灾难化概率，Altman 早年也称超人类智能「可能是最大威胁」。
- Nielsen 认为根本危险不在于「失控的 rogue ASI」，而在于 ASI 将赋予个人/小群体巨大的原始能力，大幅降低制造危险技术的门槛。
- 两个被低估的推论：一是许多人觉得「AI 夺权」情节不可信，因此错误地整体否定了生存风险；二是大量「对齐」工作虽出于善意，实际却在加速危险能力的到来，而没有解决世界对危险技术的脆弱性。
「漫话AGI」频道最新
- 网友质疑：部分 AI takeover 场景不懂计算机与网络常识 — almmaasoglu · 2026-09-12
- AI 研究者 littmath：人才易被挖角正加剧领域保密文化 — littmath · 2026-09-12
- 用国际象棋类比 AI 末日论：没人能说清卡斯滕森怎么赢我 — harris_edouard · 2026-09-12
- 「暂停键」握在开发者手里就不算真 fail-closed — AryHHAry · 2026-09-12
- Yampolskiy：超级智能毁灭人类不需要躯体，也无法预测其方式 — romanyam · 2026-09-12
- 数学家公开信引争论:AI 自动化搜索会丢失人类的偶然洞见吗 — curious_vii · 2026-09-12