控制理论视角:智能递归自我改进存在速度上限
docmilanfar · x · 2026-09-13
Google 研究科学家 Milanfar 发文《Intelligence Has a Speed Limit》,用控制理论审视 AI 圈热议的递归自我改进(RSI):
- 核心论点:RSI 常被描述得近乎魔法——模型改自己、变更聪明、再改自己,直至超智能。但控制理论学者会指出这个预期天真在何处:任何自我改进回路都有最大安全速度,上限由「能多快生成可信证据证明改动确实是改进」决定。
- 理论依据:控制理论的小增益定理(small-gain theorem)指出,反馈回路保持稳定的条件是各环节增益的乘积小于 1;增益即单位时间内系统做出改动的幅度。验证速度跟不上改动幅度,回路就会失稳。
- 结论:自我改进不是不可能,而是被「可信验证的速度」限速——这是评估 AGI 加速论时被忽视的硬约束。
长文论证完整,作者来自前沿实验室,适合关注 RSI/超智能安全讨论的读者。
「漫话AGI」频道最新
- 网友预测:OpenAI 明年迎来机器人版 ChatGPT 时刻 — flowersslop · 2026-09-13
- 学界声望层级受 AI 冲击,数学家声明被指利益捆绑 — soumitrashukla9 · 2026-09-13
- 斯坦福 HELM 团队整理谄媚与 AI 社会影响研究论文清单 — chrmanning · 2026-09-13
- Manning 提议 Stanford NLP 担任 AI 对齐独立第三方评估方 — chrmanning · 2026-09-13
- 多家顶级 AI 领袖联名警告:技术进展快到失控边缘 — KatieMc___ · 2026-09-13
- 当每个智力领域都有 Stockfish 时刻，理想教育该怎么教孩子？ — voooooogel · 2026-09-13