EvoHarnessBench:给 Agent 加工具反而导致遗忘,自我进化也难恢复
mohitban47 · x · 2026-09-12
研究团队发布 EvoHarnessBench,研究一个被忽视的持续适应问题:当 agent 系统的 harness 不断进化——逐步加入新工具、技能库和专家 agent——而旧任务仍在评测集中时,会发生什么。
核心发现:
- 扩展 harness 本身会引发遗忘:每加一项新能力,agent 在原本已能解决的旧任务上可能变差;
- 现有自进化方法不可靠:当今的自我进化 agent 无法在获取新能力的同时稳定保留旧有竞争力,难以从这种遗忘中恢复。
该 benchmark 衡量的是「能力增长 vs 旧能力保持」的权衡,提示持续给 agentic 系统堆功能并非无痛升级。
所属事件:EvoHarnessBench：给 Agent 不断加工具反而可能让它变差(2 条相关)→
「编程与Agent」频道最新
- Nitrosend 让 Grok Bot 自主接管邮件营销:一条 SKILL.md 全自动配置 — nikvassev · 2026-10-28
- Claude Opus 5.5 从二进制重建 SQLite 等程序,ProgramBench 得分 18.5% — winer666 · 2026-10-28
- Pichai 自述用内部 Agent 汇报训练进展与算力遥测 — rohanpaul_ai · 2026-10-28
- Amazon 重写 SDE 角色指南：定义「文艺复兴开发者」时代 — prdeepakbabu · 2026-10-28
- 社区插件 Kinocut 让 Hermes Agent 本地剪辑视频，无需 API key — alexcovo_eth · 2026-10-28
- 不开向量检索也能拿 86.67%,开源记忆层 Mind 挑战 embedding 必要性 — GabrielMartinMoran · 2026-10-28