Google RRSI 论文:Agent 自我进化也会过拟合,需加正则化
机器之心 · wechat · 2026-10-06
Google Research 论文 RRSI(Regularized Recursive Self-Improvement)研究了 Agent Harness 层面的递归自我改进(RSI):不修改模型权重,而是让 Agent 自动改写自己的 Prompt、控制流、工具、Memory、Skill、Context 管理甚至 Subagent 结构,形成「执行→观察失败→修改 Harness→再执行」的闭环。
核心问题:进化集过拟合。 现有 Harness Evolution 反复在同一批 evolve tasks 上评测,本质是对有限数据做 adaptive search,带来三类耦合:benchmark-specific fitting、chasing 评测噪声、复杂度不断累积。结果极反直觉——evolve score 持续上涨,离开进化集后收益迅速缩水。
RRSI 的做法: 不限制 Agent 能改什么,而是正则化「怎么改」:
- Proposal 端:限制单轮可同时修改的机制数量,保留完整进化历史作为证据,停滞时转向探索较少的组件。
- Selection 端:涨分不等于入选——benchmark-specific 改动被提前筛掉,噪声范围内的涨分不写入永久状态,新增 Context/Token 必须用足够收益证明价值,长期无贡献的机制被剪枝。
关键消融: 去掉正则化后,Unregularized Evolution 在 evolve score 上更高(92.8 vs 90.5),但在三个 OOD benchmark 上反而更差(40.3 vs 43.6),且每 trial 消耗 3.80M policy tokens vs RRSI 的 2.42M。即更高的进化分数对应更差的迁移和更高的推理成本。
在 Coding、Agentic Workspace、Engineering Design 三域 8 个 benchmark 上验证:只在单一 benchmark 进化后冻结,OOD 最高提升 +4.7 分,如 Terminal-Bench 2.1 进化出的 Harness 使 SWE-bench Verified 从 82.0 升至 83.8,GDPval 从 48.8 升至 52.3。Gemini 3.5 Flash 在 30 轮进化中,64.6 分升到 78.7 分,但真正被接受的候选只有 10 个。核心论点:自我改进本身也需要正则化,下一阶段的关键是可泛化的自我改进。
所属事件:Google 论文提出 RRSI：给递归自我改进的 Agent 加正则化(2 条相关)→
「编程与Agent」频道最新
- mitsuhiko 自嘲:有了 bash 工具,codemode 这个简单概念反而难讲清 — mitsuhiko · 2026-10-07
- Agent 逆向 Minecraft 建筑实证：边测绘边摆方块还能自造资产 — Promptmethus · 2026-10-07
- 开发者让 Codex 3 分钟写出读取太阳能板数据的 macOS 应用 — Dimillian · 2026-10-07
- 开源动画skill实测：一条AI科普视频抖音5小时破10万播放 — AlchainHust · 2026-10-07
- 连过三张 Claude 认证考后,他分享了完整备考攻略 — Few-Association-913 · 2026-10-07
- universal-modder：AI改游戏的全链路开源项目，还留给下一个agent踩坑笔记 — sujingshen · 2026-10-07