Google 论文：自动优化 agent harness 会让分数涨、真实任务变差
omarsar0 · x · 2026-09-24
Google 的新论文指出：如果自动优化 agent 的 harness（提示词、控制流、工具、记忆），评测分数会上涨，但 agent 在真实任务上反而变差。
问题：automated harness evolution 会提出对提示词/控制流/工具/记忆的修改，保留提分的修改并循环，实际上过拟合了训练任务。对比的五种 harness 进化方法中，Meta-Harness 在 Harvey LAB 的进化集上达到 93.0，但在 JobBench、GDPval、APEX-Agents 三个分布外基准上只涨 0.3–1.5 分。
方案 RRSI：在循环两侧加正则化——proposer 获得随时间收缩的编辑预算，并被推向未尝试过的方向；critic 会拒绝……
结论：在它进化所针对的任务上得分最低，但在全部三个分布外基准上得分最高，验证了「留一部分改进预算 + 去重/探索正则」可以防止 harness 自进化过拟合评测。
所属事件:Google 发布 RRSI：正则化约束 Agent 框架递归自我改进(8 条相关)→
「编程与Agent」频道最新
- PlayCanvas 引擎支持 Node.js 无头运行,不再依赖 JSDOM — willeastcott · 2026-09-24
- Burkov 发问：换用 Rust 或 C，会不会拖累 LLM 编程能力？ — burkov · 2026-09-24
- 用 Jev 做奖励模型跑 RL，24 步把 AI 味奖励从 0.58 提到 0.76 — sophiamyang · 2026-09-24
- 有人用 Codex 10 分钟在旧游戏本上跑通 Qwen 加 Hermes Agent — markjeffrey · 2026-09-24
- Jev + Claude Code 组合走红:100 毫秒内替你拦截危险操作 — PrajwalTomar_ · 2026-09-24
- TensorSharp 结构化读取让本地决策 API 快 3.3 倍且零解析失败 — fuzhongkai · 2026-09-24