新基准 Continual-ARC:主流 Agent 均无法从经验中学习
alifcoder · x · 2026-11-12
Unify.ai 团队发布新基准 Continual-ARC,测试 AI agent 能否真正从过往经验中学习,结果令人失望:
- OpenClaw、Hermes Agent、Prime Agent 三个主流 agent 均无法有效从经验中学习——既记不住有价值的信息,也无法泛化到新任务
- 作者指出「记住上次发生了什么」不等于「从中学到东西」:agent 能保存对话和指令,但面对未见过的问题时并不会真的变强
- 作为对照,对一个小型 9B 模型做权重训练则同时实现了记忆与泛化
作者呼吁社区出现更多专门测试 agent 持续学习与泛化能力的基准。
所属事件:Continual-ARC 基准：主流 Agent 学不会经验，微调 9B 模型反而可以(8 条相关)→
「编程与Agent」频道最新
- LlamaIndex 让 AI Agent 渗透测试自家 LlamaParse，四天暴露四条经验 — llama_index · 2026-11-12
- Manhattan 字体 v0.0.1：每个字母都是一个 Python 函数 — allanyu_ · 2026-11-12
- 用 Backplane「提示词造出」任意扩展卡,网友呼吁扩展口回归标配 — _Stocko_ · 2026-11-12
- Agent 会话跑了 51 分钟烧 24.8 万 token,网友直呼还在干活 — _Stocko_ · 2026-11-12
- 不让模型自己写一个字：用工具链让 Fable 5.2 写出人味文字 — Flomerboy · 2026-11-12
- 投资人证实：创始人开始随 BP 附上供 AI 阅读的 company.md — seanmcdonaldxyz · 2026-11-12