EvoHarnessBench:给 Agent 加工具反而导致遗忘,自我进化也难恢复
mohitban47 · x · 2026-09-12
研究团队发布 EvoHarnessBench,研究一个被忽视的持续适应问题:当 agent 系统的 harness 不断进化——逐步加入新工具、技能库和专家 agent——而旧任务仍在评测集中时,会发生什么。
核心发现:
- 扩展 harness 本身会引发遗忘:每加一项新能力,agent 在原本已能解决的旧任务上可能变差;
- 现有自进化方法不可靠:当今的自我进化 agent 无法在获取新能力的同时稳定保留旧有竞争力,难以从这种遗忘中恢复。
该 benchmark 衡量的是「能力增长 vs 旧能力保持」的权衡,提示持续给 agentic 系统堆功能并非无痛升级。
所属事件:EvoHarnessBench：给 Agent 不断加工具反而可能让它变差(2 条相关)→
「编程与Agent」频道最新
- 为什么每天用 8 小时 AI Agent 反而更累：委托不减心理负担 — rickasaurus · 2026-09-12
- Steve Klabnik 创业公司发声:Git 不是源码管理的未来 — rseroter · 2026-09-12
- Yutori 发布 Navigator n2:用 MCP 让模型直接操作你的 Mac — DhruvBatra_ · 2026-09-12
- 让两个 agent 画肖像:精细鼠标控制成 computer-use 真实试金石 — xwang_lk · 2026-09-12
- 换模型别忘迁记忆：研究显示自由笔记换模后准确率跌 13 个点 — rohanpaul_ai · 2026-09-12
- YC 公司 Fabraix 入营 3 个月做到 $104 万 ARR,主攻 AI agent 攻防 — ycombinator · 2026-09-12