清华实证研究：编码 agent 跨任务持续自演化会严重灾难性遗忘，旧数据集性能骤降

Shangziqi Zhao · hf · 2026-11-03

清华 AI Agent 组的实证研究考察编码 agent 的 harness 自演化能否在不遗忘的前提下持续进行。

背景：harness 自演化（不改模型参数、演化 agent 外围框架）已被证明能提升单任务表现，但实践中 agent 需随时间处理多种任务类型，跨任务持续演化是否会灾难性遗忘是开放问题。
方法：将三个软件工程任务数据集组织为六个演化方向，用两种代表性 harness 演化方法做持续演化实验。
核心发现：在后续数据集上的演化会显著损害此前见过的数据集的表现——例如 DeepSeek-V4-Flash-0731 经 Meta-Harness 演化后 SWE-Bench 升至 94.9%，但继续在 FeatureBench 上演化后，早期数据集性能骤降。
结论：当前 harness 自演化范式在持续演化场景下存在严重灾难性遗忘，值得设计抗遗忘机制。

「编程与Agent」频道最新