控制理论视角:递归自我改进存在速度上限,过快会突发失稳
ArtificialOther · x · 2026-09-13
Google 研究员 Peyman Milanfar 撰文指出,递归自我改进(RSI)被 AI 圈过度神化,但控制理论早已给出反直觉的结论:任何自我改进的反馈回路都有安全速度上限。
- 小增益定理:反馈回路稳定的前提是各环节增益乘积小于 1;在 RSI 语境中,增益即系统在单位可信证据下做出多大修改,而 RSI 的吸引力恰是高增益、快迭代。
- 历史教训:80-90 年代自适应控制曾被证明全局稳定,但 MIT 的 Rohrs 反例显示,只要被控对象轻微违反假设,系统就会失控——而且往往不是立刻爆炸,而是「漂亮运行一段时间后毫无预警地突发失稳」。
- AI 自我改进系统结构相同:其自我模型恰恰在真实世界经验最少的领域最不准,越激进地针对该模型优化,越深入未知的缺口。
- 核心瓶颈:「持续激励」的丧失——生成可信证据证明某次修改确有改进的速度,决定了自我改进的最快安全速度,智能有速度上限。
这是对「一夜超智能」叙事的有分量技术反驳。
所属事件:谷歌研究员称智能递归自我改进存在速度上限(3 条相关)→
「漫话AGI」频道最新
- 网友赞 Altman、Dario、马斯克承认对 AI 未完全掌控 — JOBhakdi · 2026-09-13
- Dario 发文呼吁放缓前沿,AI 圈质疑 Anthropic 自己没停 RL — koltregaskes · 2026-09-13
- 风投人断言:不认同「AI 毁灭论」就进不了前沿实验室 — StewartalsopIII · 2026-09-13
- OpenAI 声称 AI 群体协作证明 Navier-Stokes 奇点可形成 — erdematar · 2026-09-13
- 经济学教授观察:学生用5个提示词改2行邮件,已成认知依赖 — paulnovosad · 2026-09-13
- AI 研究者借海因莱因名言:多 余算力只为造通用智能体 — chris_j_paxton · 2026-09-13