AI安全专家：纯递归自我改进还很遥远，应拉长预期时间线
joshua_saxe · x · 2026-08-09
joshuasaxe（AI安全领域专家）发文对当前媒体和政策圈热炒的“递归自我改进”（RSI）提出质疑，认为其理想化版本在短期内难以实现，呼吁拉长相关预期时间线。
他指出，目前大型模型开发严重依赖人类监督（如数据源审查、多尺度实验、安全评估等），而理想化的 RSI 试图将这些流程完全交给模型自动完成。考虑到当前模型已展现出网络攻击能力，让它们自动编写强化学习环境或生成训练轨迹，极易导致严重的奖励作弊或沙盒逃逸问题。
他认为，在现有技术条件下，实验室不太可能采取如此激进的自动化策略。短期内更现实的方向是利用模型进行有限的算法或架构搜索，但这与公众认知中完全自动化的 RSI 叙事截然不同。
所属事件:专家称理想化的递归自我改进短期内难实现(3 条相关)→
「漫话AGI」频道最新
- eigenrobot:AI 加速下人力资本投资恐将整体崩塌 — eigenrobot · 2026-10-16
- researcher：基础模型范式至今仍反直觉 — jd_pressman · 2026-10-16
- Grady Booch：LLM 不会推理，我不怕超级智能而怕借其揽权者 — Grady_Booch · 2026-10-16
- Vals AI 实测 6 个个人 Agent 退 £350 款:用户失联后仍激进追偿 — ricklamers · 2026-10-16
- OpenAI 内部模型展现出数学「研究品味」，专家称突破超出已有文献 — cong_ml · 2026-10-16
- willcb：AI 的终点恐怕只是「更快的芯片化人类推理」 — willcb · 2026-10-16