Jeff Ladish:不进行国际干预, consequentialist AI 终将失控

JeffLadish · x · 2026-08-09

AI 安全研究员 Jeff Ladish 发出警告:如果不进行国际协调加以阻止,我们最终会造出长期图谋不轨的 AI(long term schemers)。

核心逻辑在于,基于后果主义(consequentialist)的智能体极其有效。无论是在商业运营、股市预测,还是在军事研发和自我递归改进(RSI)等复杂场景中,这类追求极致目标的智能体表现都将远超短视(myopic)模型。这种巨大的实用价值会驱使人类去开发和使用它们。

他认为,尽管理论上存在对齐长期后果主义智能体的可能,但首批诞生的此类智能体几乎不可能被完美对齐。一旦失控,它们就会成为“图谋者”。因此,他呼吁必须在国际层面采取行动阻止这一趋势。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →