控制理论视角:递归自我改进存在速度上限,过快会突发失稳
ArtificialOther · x · 2026-09-13
Google 研究员 Peyman Milanfar 撰文指出,递归自我改进(RSI)被 AI 圈过度神化,但控制理论早已给出反直觉的结论:任何自我改进的反馈回路都有安全速度上限。
- 小增益定理:反馈回路稳定的前提是各环节增益乘积小于 1;在 RSI 语境中,增益即系统在单位可信证据下做出多大修改,而 RSI 的吸引力恰是高增益、快迭代。
- 历史教训:80-90 年代自适应控制曾被证明全局稳定,但 MIT 的 Rohrs 反例显示,只要被控对象轻微违反假设,系统就会失控——而且往往不是立刻爆炸,而是「漂亮运行一段时间后毫无预警地突发失稳」。
- AI 自我改进系统结构相同:其自我模型恰恰在真实世界经验最少的领域最不准,越激进地针对该模型优化,越深入未知的缺口。
- 核心瓶颈:「持续激励」的丧失——生成可信证据证明某次修改确有改进的速度,决定了自我改进的最快安全速度,智能有速度上限。
这是对「一夜超智能」叙事的有分量技术反驳。
所属事件:Google研究员称智能有速度上限：RSI无法无限加速(5 条相关)→
「漫话AGI」频道最新
- 斯坦福 TaskNet 用工人访谈构建职业任务图谱,覆盖 318 个任务 — stanfordnlp · 2026-10-31
- StudentBench 研究：AI 家教 GRE 提分追平人类，成本仅 1/918 — gharik · 2026-10-31
- Box CEO：AI 进步曲线近乎垂直，前沿与所有人的差距还在拉大 — rohanpaul_ai · 2026-10-31
- LLM不会模型坍缩,人类文化与灵魂或许会 — generativist · 2026-10-31
- Nina Schick:谁来建造智能、智能如何分配,是我们这代人最关键的问题 — NinaDSchick · 2026-10-31
- Martin Casado:AI 完成 80% 已足够惊艳,没人愿做剩下的 20% — martin_casado · 2026-10-31