Michael Nielsen 长文:ASI 真正的风险不是失控,而是它赋予的原始力量
michael_nielsen · x · 2026-11-19
Michael Nielsen 转发自己 2025 年 4 月的演讲文章《ASI existential risk: reconsidering alignment as a goal》,探讨为何权威专家对 ASI 是否构成生存风险分歧巨大(Hinton 警告应停止开发、Bengio 给出约 20% 灾难概率、Altman 早年也称超级智能可能是最大威胁)。
核心论点:根本危险不在「失控的 rogue ASI」,而在于 ASI 将赋予个人/小团体的原始力量,以及危险技术门槛的降低。两个被低估的推论:一是许多人觉得 rogue ASI 不可信,因而错误地整体否定生存风险;二是许多对齐工作虽出于善意,却在加速通往灾难性能力的进展,而未解决世界对危险技术的脆弱性。danrobinson 转发称「解释得很好」。
「漫话AGI」频道最新
- Dan Robinson:别把「安全 AI 曼哈顿计划」全押在对齐上,对齐了也危险 — michael_nielsen · 2026-11-19
- 学者建议:AI 治理报告应补测「人类能理解多少自动化研究成果」 — ronbodkin · 2026-11-19
- Stripe 机器购买协议日处理数万笔交易,agent 商业加速落地 — jeff_weinstein · 2026-11-19
- Gallup 调查 16 国 1.6 万青年:33% 已拥有 AI 伴侣 — Grady_Booch · 2026-11-19
- 芝大研究:加大思考力度只提升购物 AI 的自信,不提升正确率 — Uchicago · 2026-11-19
- Amodei 建议高中毕业生学用 AI:一半入门级白领岗位 1-5 年内受冲击 — alvelda · 2026-11-19