Ben Goertzel 新文：哪些心智拥有良性「基础 AI 驱动力」

bengoertzel · x · 2026-10-19

Ben Goertzel 发布新博文，回应 Steve Omohundro 2008 年的经典论文《Basic AI Drives》。Omohundro 曾论证：几乎任何先进 AI 无论初始目标如何，都会倾向于自我改进、守护目标、自我保护（包括抗拒被关机）并抢占资源——这构成了当今大量 AI 风险思考的基础。Goertzel 的新论点是：这一推理只对一类心智成立——只关心结果、目标冻结且确定的单分数最大化器。他随后对另一种 AI 设计做了 Omohundro 式推演：该设计拥有多个目标、坚定的伦理边界、深深织入且受损后能再生、并带有怀疑态度的价值观，以及一道审查机制。TL;DR：从设计之初就具备良性且自我稳定的目标系统的智能体，才拥有良性的基础 AI 驱动力。