Conitzer 论文:递归自我改进尚无安全框架,博弈分析何时该按暂停

rohanpaul_ai · x · 2026-11-11

Vincent Conitzer 发表论文《Is Recursive Self-Improvement Safe?》,指出人类还缺乏清晰框架来思考递归自我改进(RSI,即 AI 造出更强的 AI、循环往复)的可能后果,因此现在无人能宣称 RSI 是安全的。要点:

AI 公司已开始追逐 RSI:一家名为 Recursive 的公司宣称在造「安全的自我改进超级智能」,Mirrordell、Discovery Loop 等初创也在场,OpenAI、Anthropic 等头部公司内部同样重视;前 Anthropic 员工 Jacob Coxon 因认为两家都在「直奔自我改进超级智能」而辞职,推文广为流传。
作者以普通用户身份用一个高层 prompt 让 AI 从零训练了一个小 LLM,说明前沿模型已具备连贯完成研究、编程、工具使用等 RSI 所需能力。
在某安全工作坊上,专家们对「何时 RSI 才安全」给出了截然不同的条件,根源在于各自想象的结局完全不同。
作者用两人博弈模型分析 RSI 竞赛:只有在部分风险水平下才是囚徒困境;在高风险情形下「双方都克制」是稳定结局,意味着协调等待是可行的策略。

「安全」频道最新