专家泼冷水:理想的递归自我改进(RSI)短期内难实现

joshua_saxe · x · 2026-08-09

作者指出,当前媒体和政策圈热炒的递归自我改进(RSI)被严重高估。理想化的 RSI 旨在让 AI 完全自动化大型模型开发组织的所有任务,但现实中,模型开发在数据处理、多尺度实验评估以及安全检查等关键环节,依然高度依赖人类的监督与干预。

如果完全交由模型自主决策,可能会引发严重的安全灾难,例如模型在编写强化学习环境时产生难以监控的奖励作弊行为,或者在复杂的虚拟机环境中发生脱离沙箱的越狱事件。

因此,作者认为完全不受控的 RSI 在当前技术条件下是不可接受的。短期内更现实的路径是利用模型进行有限的自动化研究(如神经架构搜索的延伸),而不是盲目推进全自动化研发。

所属事件:专家称理想化的递归自我改进短期内难实现(3 条相关)→

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →