RSI 正在照抄深度学习：SkillAdam、TextGrad 等 11 种机制全对上了
青稞AI · wechat · 2026-10-21
青稞AI 长文梳理了递归自我改进（RSI）方法与深度学习机制的对应关系：Agent 反复更新 Skill 时出现的新任务下滑、旧任务做错、文档膨胀，本质上就是过拟合、灾难性遗忘和模型冗余这些老问题。文章基于一篇 RSI 综述，归纳了深度学习被借鉴的十一种机制，并从四个角度展开解读：
- 优化器与反向传播：SkillAdam 借鉴 Adam 用历史修改记录和表现波动决定每轮改什么、改多少；TextGrad 把链式法则搬到文本上，让「文字梯度」沿 Agent 系统回传，定位该改哪个提示词或组件。
- 学习信号来源：MemRL 给记忆加效用值 Q，用任务成败更新检索策略；SEAL 让模型自写训练材料微调自己，用学习效果做外层元学习；RISE 把 RL 更新后的参数外推出「教师」再蒸馏回学生；ACE 让同一模型轮流扮演求解器与对抗者，用触发失败的测试输入互相训练；DMoA 用可学习的路由器从 Agent 池中动态挑人协作，对应集成学习。
- 正则化与持续学习：RRSI 限制每轮修改数量、删除无收益组件；SkillEvoReg 用 Dropout 思路随机屏蔽 Skill 指令再做修订，避免改动过拟合于见过的任务。
结论是：RSI 并非全新范式，深度学习几十年积累的正则化、回放、剪枝等机制为 Agent 自我改进提供了现成的解法原型，顺着这条映射还能挖出不少新研究方向。
「编程与Agent」频道最新
- 实测：不在 AGENTS.md 里写明的 MCP 工具，编码 Agent 不会用 — colinmcnamara · 2026-10-23
- 用开源模型+Claude 把一段网球视频变成世界级教练 — tweetsatpreet · 2026-10-23
- 132 个免费开源 AI Agent 与 RAG 项目合集，星标 1.65 万 — Arindam_1729 · 2026-10-23
- Google Agents CLI 开放扩展系统，v1.8.0 官方支持 LangChain — rseroter · 2026-10-23
- BigQuery SQL 三种姿势调用开源模型，数据零搬运 — rseroter · 2026-10-23
- Omarchy 理念：AI 编码智能体让普通人也能随手修好系统 — mark_k · 2026-10-23