新基准 Continual-ARC:主流 Agent 框架几乎无法从经验中学习

hey_abusiddik · x · 2026-11-12

Unify.ai 团队发布新基准 Continual-ARC,测试 agent 能否从经验中持续学习并泛化到新任务。结果显示 OpenClaw、Hermes Agent、Prime Agent 等主流 agent 框架都无法记住任何有价值的东西,也无法泛化到新任务。

团队提出一个关键观点:永远到不了模型上下文的记忆等于不存在,大多数 agent 记忆问题的根源都在这里。作为对照,他们对一个 9B 小模型做权重训练,结果既实现了有价值的记忆,也实现了对新任务的泛化——暗示当前「外挂记忆+提示词」的 agent 范式在持续学习上有根本局限。