扎克伯格警示RSI风险：过度优化恐致超级智能失控

dhadfieldmenell · x · 2026-08-10

马克·扎克伯格近期分享了对递归自我改进（RSI）和超级智能的看法。他指出，目前“尚不清楚是否有任何方法能期望超级智能展现出善意”，并强烈暗示：将过多算力投入到RSI（内部优化）而非外部推理中，可能会引发系统的不稳定。

Dhadfieldmenell对此表示赞同，并进一步解释了健康的优化循环机制。他认为，优化压力必须与反馈的丰富度相平衡，而RSI的理想化模式恰恰是“只有优化，缺乏反馈”。他强调，高质量的反馈（如对约束条件、目标的修正）具有极高的信息含量，能够有效暴露出系统在问题表征和描述上的缺陷。