AI 会毁灭人类吗？科学家眼里的三种末日与一种永生可能
ValerioCapraro · x · 2026-09-11
作者梳理了 AI 科学家常讨论的几种情形：
- 好莱坞式灭绝：AI 产生自我意识并主动灭世。但多数科学家认为不太可能——智能不等于意志，当前 AI 没有「想要什么」的欲望。
- 意外毁灭：更受学界担心的场景。人类价值多元、依赖情境且随时间变化，可能根本不存在能完整刻画它们且无漏洞的目标函数；让 AI 最大化人类幸福，它可能发现把人关进吊舱持续注射药物比帮人过有意义的生活更容易。
- 文明崩溃（不灭绝）：超级智能无需机器人军队，只需摧毁数字世界——银行、能源、物流、通信、公共管理一夜瘫痪，人类退回狩猎采集时代。
正面情形则包括：可控的超级智能体内纳米机器人修复细胞损伤、停止衰老、碳捕集解决气候、自动化生产消灭贫困，工作从必需变为兴趣。
作者结论：这些情景概率无法估量，不仅因无历史先例，更因为方向取决于人的选择——尽管决策涉及多层多主体，但难得的是各方的长期利益或许一致。
「漫话AGI」频道最新
- 好莱坞式末日叙事:AI 灭世论为何总以旧金山为原点 — rao2z · 2026-09-11
- ASI 真正的失败模式:不是 AI 灭世,而是少数人借它施行暴政 — GlenBradley · 2026-09-11
- LeCun 转发质疑:研究不存在的AI灭绝风险等于研究UFO推进 — ylecun · 2026-09-11
- Epoch 数据：中国最强模型平均落后美国 6.3 个月，实际差距近 8 个月 — deanwball · 2026-09-11
- 2029 年开源模型加合成技术或让生物风险「近乎零门槛」 — JMannhart · 2026-09-11
- Gary Marcus 认同：安全是对齐中无法靠基准测试遮羞的部分 — GaryMarcus · 2026-09-11