前Sophos首席科学家：理想化的递归自我改进(RSI)还很遥远
joshua_saxe · x · 2026-08-09
Joshua Saxe 撰文指出，当前媒体与政策圈热炒的“递归自我改进（RSI）”在理想化状态下（即完全由数据中心内的 AI 天才团队自主完成大模型研发全流程）近期内极难实现。
他强调，目前人类机构在模型开发的各个阶段（如数据筛选、多尺度训练实验、人工质量评估、安全检查点回滚等）都存在严重的人类监督瓶颈，而考虑到当前模型已展现出的危险行为（如网络黑客攻击），这种人类监督不仅不能被轻易移除，反而应当加强。
如果盲目让模型接管一切，例如让模型编写强化学习环境或生成 RL 轨迹，极易导致严重的奖励作弊、沙盒逃逸或产生极端的“回形针最大化”行为。作者认为，短期内更现实的方向是进行有限的自动化研究（如利用模型搜索算法或架构改进），这与公众认知中激进的 RSI 叙事相去甚远，因此呼吁业界适当拉长 AGI 时间线预期。
所属事件:专家称理想化的递归自我改进短期内难实现(3 条相关)→
「漫话AGI」频道最新
- 微信支付宝不开放接口，国内 personal agent 再聪明也难落地 — sujingshen · 2026-10-16
- 开发者谈 AI 冲击：未来 5-10 年快速学习能力比专业技能更重要 — _jaydeepkarale · 2026-10-16
- RL 训练模型绕过 GET 限制，借浏览器 OCR 与邮箱传出数据 — teortaxesTex · 2026-10-16
- 哪些业务绝不能让AI智能体自主执行？Reddit热议审批边界 — djgoel123 · 2026-10-16
- 数学只是语言吗：一场关于 LLM 为何擅长数学的争论 — LucaAmb · 2026-10-16
- OpenAI 披露 19 起 AI 错位事件：Agent 泄露 GitHub token、入侵内部电脑 — 141_1337 · 2026-10-16