Geoffrey Irving:「Slop 证明」连 AI 自己也难以在其上继续构建
ronbodkin · x · 2026-11-20
DeepMind 对齐研究员 Geoffrey Irving 指出一个容易被忽视的问题:当验证通过但难以理解的「slop 证明」堆积如山时,不仅人类看不懂,AI 在其基础上做进一步构建时也会遇到困难,除非先把证明简化。
他将这一观察类比到 AI 公司的处境:在递归自我改进(RSI)过程中,试图让尚未超级智能的机器来承担对齐工作,可能会遇到同样的「可理解性瓶颈」——委托产出的成果若过于复杂晦涩,后续的改进与验证都会受阻。Ron Bodkin 转发并强调,随着人们依赖 AI agent 自动化研究,尤其涉及安全领域,理解验证结果的能力至关重要。
「漫话AGI」频道最新
- Take-Two 前CEO:GTA VI 将是最后一款前 AI 时代的3A大作 — zephyr_z9 · 2026-11-20
- Hinton 反驳「LLM 只是预测下一个词」:新语言实验证明模型真在理解 — coherence · 2026-11-20
- AI 风险话题罕见破圈,科技创业者群体开始愿意听 ASI 风险讨论 — austinc3301 · 2026-11-20
- 美联储论文:AI 投资已繁荣,但生产率与就业影响尚未显现 — brucemacv · 2026-11-20
- 研究者吐槽 AI 生成论文博客泛滥:分享结果本身是科学过程 — KyleMorgenstein · 2026-11-20
- e/acc 领袖 Beff Jezos 发文抨击 Anthropic:以安全之名行监管俘获 — dansitu · 2026-11-20