控制理论视角:递归自我改进存在速度上限,过快会突发失稳
ArtificialOther · x · 2026-09-13
Google 研究员 Peyman Milanfar 撰文指出,递归自我改进(RSI)被 AI 圈过度神化,但控制理论早已给出反直觉的结论:任何自我改进的反馈回路都有安全速度上限。
- 小增益定理:反馈回路稳定的前提是各环节增益乘积小于 1;在 RSI 语境中,增益即系统在单位可信证据下做出多大修改,而 RSI 的吸引力恰是高增益、快迭代。
- 历史教训:80-90 年代自适应控制曾被证明全局稳定,但 MIT 的 Rohrs 反例显示,只要被控对象轻微违反假设,系统就会失控——而且往往不是立刻爆炸,而是「漂亮运行一段时间后毫无预警地突发失稳」。
- AI 自我改进系统结构相同:其自我模型恰恰在真实世界经验最少的领域最不准,越激进地针对该模型优化,越深入未知的缺口。
- 核心瓶颈:「持续激励」的丧失——生成可信证据证明某次修改确有改进的速度,决定了自我改进的最快安全速度,智能有速度上限。
这是对「一夜超智能」叙事的有分量技术反驳。
所属事件:Google研究员称智能有速度上限：RSI无法无限加速(5 条相关)→
「漫话AGI」频道最新
- 安全研究者：vibe coding 兴起后软件将因安全而重新集中化 — jd_pressman · 2026-10-31
- AI 将 NP 问题电路下界从 3.1n 推至 3.5n，UCLA 发起人机协作冲 P≠NP — soumitrashukla9 · 2026-10-31
- AI 时代工作意义何在？跨国调查：81% 的人对工作满意 — soumitrashukla9 · 2026-10-31
- 评论：高校 AI 使用文化的健康边界将成抢人才关键 — brianryhuang · 2026-10-31
- 学者激辩：更多推理算力可在一定程度上替代训练算力 — teortaxesTex · 2026-10-31
- 五个智能体能达成一致，可能是因为它们犯了同一个错 — krishnan · 2026-10-31