递归自我改进没有起点时刻：深度学习范式下的智能爆炸解剖
sebkrier · x · 2026-11-14
Cosmos Institute 发布 Aashish Reddy 的长文《Recursive, Self, Improvement》，讨论递归自我改进（RSI）的界定与人类控制问题。要点：
- 思想源头：1965 年 I.J. Good 提出「智能爆炸」——超智能机器能设计更好的机器，「第一台超智能机器将是人类需要做的最后一项发明」，前提是它足够顺从、肯告诉我们如何控制它。
- 当下进展：AI 已能实际辅助 AI 研究者写代码、做实验，产出又反过来加速研究；系统日益自主、近乎「雇员」角色——AI 正在训练下一代 AI。研究者、政策制定者和实验室高管普遍认为我们已处于或接近 RSI 状态。
- 核心论点：RSI 一词源自 Yudkowsky，但他描述的是一个离散的启动机制。作者认为深度学习范式迫使人们重新思考「被改进的自我」到底是什么——改进是渐进、分布式的，不存在某个「递归自我改进从此开始」的单一时刻，这对人类何时以及如何保持控制有重要含义。
「漫话AGI」频道最新
- 人类进入「人机权力真空期」：系统没人维护，AI 还接不了班 — ivan_bezdomny · 2026-11-14
- RL 老兵 Agarwal:强化学习是最蠢的范式,但它偏偏有效 — ziv_ravid · 2026-11-14
- WSJ 记者称 Gemini 帮其解开 20 年疑难病症谜团 — vivnat · 2026-11-14
- 77% 临床药物只攻 20% 热门靶点，AI 或成破解同质化关键 — jacobkimmel · 2026-11-14
- Boomi AI 负责人访谈:企业 Agent 需要「上下文层」而非只谈数据质量 — jonerp · 2026-11-14
- 重读数字艺术经典《Cybernetic Serendipity》：控制论时代早有先声 — Merzmensch · 2026-11-14