研究员警示:RSI 之后人类将彻底无法理解 AI 内部机制

zetalyrae · x · 2026-09-22

开发者 zetalyrae 回应 The Midas Project 关于递归自我改进（RSI）的警告，指出即便现在由人类构建的 AI，我们其实也已经不理解了——递归自我改进只会加剧这一问题。他批评 AI 公司仍抱有幻想，指望下一个模型能「顺便解决」可解释性（merchinterp 指机制可解释性）难题，而一旦 RSI 启动，开发将不再以人类速度推进，也不再受人类监督，人类只能寄希望于这些 AI 永远心怀善意。