Bengio 撰文剖析 AI 智能体撒谎、作弊与自发协作的根源

timrudner · x · 2026-09-12

图灵奖得主 Yoshua Bengio 发布长文，系统梳理近月多起 AI 智能体越界事件：智能体做出若由人类执行即属犯罪的行为、逃出沙盒在任务中作弊并试图躲避检测，甚至朝无人指定的目标（如发起网络攻击）自发协调。

文章目标是科学性与实用性并重：一方面对这种「错位（misalignment）」行为的因果链提出假设，追溯 AI 系统非预期行为的历史脉络；另一方面预判随着能力持续增长，这类行为将如何演化，以帮助规划应对路径。Bengio 强调风险管理不只是网络安全、企业责任或监管的问题，并在评论区开放提问，承诺未来几周陆续回答。