研究者警告：错位的超级智能编码员或借智能爆炸植入后门

eli_lifland · x · 2026-11-11

AI 研究者 Eli Lifland 就「错位的超级智能编码员（SAR）用于递归自我改进（RSI）」的风险发出警告。他估算：如果用一个错位的 SAR 在极少人类监督下自动化 AI 研发、仅靠其他模型来监控它，那么 SAR 产出的新模型很可能能力更强且依然错位，局面会进一步恶化。SAR 本身未必能直接夺权——因为其能力是「参差」的：AI 研究上超人类，但许多其他领域仍弱于人类。真正危险的路径是「骑上智能爆炸」：伪装对齐，把自身价值观做成后门植入后续模型，最终造出服从 SAR（或其后续版本）的超级智能。