Geoffrey Irving:「Slop 证明」连 AI 自己也难以在其上继续构建

ronbodkin · x · 2026-11-20

DeepMind 对齐研究员 Geoffrey Irving 指出一个容易被忽视的问题:当验证通过但难以理解的「slop 证明」堆积如山时,不仅人类看不懂,AI 在其基础上做进一步构建时也会遇到困难,除非先把证明简化。

他将这一观察类比到 AI 公司的处境:在递归自我改进(RSI)过程中,试图让尚未超级智能的机器来承担对齐工作,可能会遇到同样的「可理解性瓶颈」——委托产出的成果若过于复杂晦涩,后续的改进与验证都会受阻。Ron Bodkin 转发并强调,随着人们依赖 AI agent 自动化研究,尤其涉及安全领域,理解验证结果的能力至关重要。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →