Ben Goertzel 长文:哪种心智会在超智能时涌现良性「基础 AI 驱力」
bengoertzel · x · 2026-10-19
Ben Goertzel 发布新博文,回应 Steve Omohundro 2008 年的《Basic AI Drives》论文。该论文主张几乎任何先进 AI 都会趋向自我改进、守护目标、自我保护(包括抗拒关机)和抢夺资源,因为这对几乎所有目标都有利——这一论证是当今大量 AI 风险思考的源头。
Goertzel 的核心论点:
- 上述推理只对一种心智成立:只关心结果、目标冻结且确定的单分数最大化器(single-score maximizer)。
- 他对另一类 AI 设计重跑了 Omohundro 式推理:拥有多个目标、明确伦理底线、价值观编织得足够深以至于受损后能再生、并持有……(线程截断,完整论证见博文)。
- TL;DR:会涌现良性驱力的是那些「从一开始就被设计成拥有良性且自稳定的目标系统」的心智。
所属事件:Ben Goertzel 长文探讨超智能的良性「基础 AI 驱力」(3 条相关)→
「漫话AGI」频道最新
- 《权力的48条法则》作者告诫年轻作家:别碰 AI,一点都别沾 — david_perell · 2026-10-20
- Peter Diamandis:一代人不必真的失去所有工作,就会先失去对未来的信心 — PeterDiamandis · 2026-10-20
- 答案已被商品化,提问质量重新成为人的最高信号 — signulll · 2026-10-20
- AI 揭穿创意行业真相:许多「天赋」其实只是资源门槛 — AIandDesign · 2026-10-20
- 「AI 是把劳动变成资本媒介」:一张巴士漫画引发的热议 — curious_vii · 2026-10-19
- 创始人断言:今天的 AI 是你用过的最慢的 AI,五年后如同拨号上网 — cramforce · 2026-10-19