EpiCon: Collective Agent Learning through Co-Evolving Multimodal Memory
Ziyun Zeng, Hang Hua, Shaden Alshammari, Rogerio Feris, William T. Freeman, Jiebo Luo
cs.CV
2026-09-30
EpiCon用两枚独立训练的2B模型维护共享多模态记忆,不更新宿主参数。十一项基准、四套配置下宏均比无记忆高1.7到4.9分,记忆操作时间少67%到74%。
多智能体系统每次执行都会留下步骤、失败和证据。外部记忆能接到后续推理,不必改宿主权重。难的是跨系统复用:不同 harness 和骨干读不了同一份经验;多模态题的关键常在图上某一块,纯文本带不走;同一题多试几次,文字指导和视觉证据还得一起改。
链式笔记、层级经验、跨模型共享记忆、多模态证据,这几条线此前是分开推进的。EpiCon 把两段回路接在一起:题内根据对错同时改文字和裁图;题间把经验放进一棵共享树,换一套 agent 也能检索、也能往里写。
记忆作为 MAS 外面的独立 harness,宿主编排和参数不动。两个独立微调的 Qwen3.5-2B 分工:Memory Controller 管一道题内部,Tree Self-Organizer 管跨题的经验库。
题内记忆是一对「文字指导 + 图像区域」。Controller 根据题目、原图、旧记忆、最新答案和执行轨迹,一次提出新文字、是否用视觉、从哪张图裁哪一块。Harness 校验并裁图,提案不合法就保持原状。门控决定下一轮输入带不带视觉记忆;关掉注入不会把库存图删掉。
可以把它想成给解题过程配一份会改的便签和一张会重裁的截图。文字说「去 Termini 换乘」,截图就跟着改到换乘站,不能还停在上一轮看错的半边地图。
题间是一棵树。叶子存具体题目的经验,内部节点归类并摘要。维护时 Organizer 可做 Place、Merge、Split+Lift、Consolidation。检索先用冻结文本编码器按主题和问题锚点召回,再由 Organizer 挑选一条规则、一条具体经验,或声明都不适用。评估阶段历史库冻结,题内更新不写回库。
监督来自视觉数学、文档和图表上的 MAS 轨迹。教师是 Qwen3.8-27B,失败样本由 Qwen3.8-Flash-Next 改写。Controller 留下约 25K 条 replay 过的变换:Repair 把失败变成成功,Compress 保持成功同时缩短文字且裁图面积不增大。Organizer 约 6.5K 条树操作只过模式、节点引用和来源校验,没有逐条 MAS 回放。两个 2B 用 LoRA(rank 16)训三轮,视觉编码器和 aligner 冻结。
评测 11 个基准共 4538 题,覆盖文档理解、视觉到代码、视觉数学和通用视觉语言推理。Codex 与 DeepSeek-Harness 各配 Qwen3.8-27B 和 Gemma4-31B。各记忆方法用同一批 1000 道构建题建库,与评测题不相交。主表全部只解一次、关掉题内更新,测的是历史经验本身。
骨干尺寸 EpiCon 在四套宿主上都是十一项宏均最高,比最强外部基线(Mem0、Cognee、A-Mem、Agent-KB,记忆操作用对应骨干 zero-shot)高 1.9 到 5.9 分。Codex+Qwen3.8-27B 上,ParseBench 从无记忆的 57.1 到 68.5,MATH-Vision 从 20.4 到 48.6。
两个训好的 2B 把记忆操作时间砍掉 67% 到 74%,MAS+记忆总时间少 25% 到 35%。宏均比骨干尺寸版低 0.9 到 3.6 分,仍比无记忆高 1.7 到 4.9 分。Gemma4-31B 上,骨干版相对无记忆 +7.0(Codex)、+2.7(DeepSeek-Harness),2B 版是 +4.2 和 +1.7。WorldBench 四套都涨(+3.2 到 +7.8);ReasonMap(+0.5 到 +1.9)和 BabyVision(-2.7 到 +4.8)不稳。
| 对照 | 指标 | 数字 |
| 2B vs 无记忆,四套宿主 | 十一项宏均 | +1.7 到 +4.9 |
| 2B vs 骨干尺寸记忆模型 | 记忆操作时间 | -67% 到 -74% |
| Codex+Qwen 冻结库换骨干 / 换 harness | 宏均 | +3.2 / +4.2 |
| 另一 harness 扩库后原系统再解 | 宏均 | 53.5→55.7 / 53.4→56.6 |
| 树 vs 扁平库 | ParseBench | 67.3 vs 52.2 |
跨系统复用是核心结果。Codex+Qwen 建的冻结库,换 Gemma 骨干宏均 +3.2,换 DeepSeek-Harness +4.2,都只解一次。再让另一套 harness 用另外 1000 题演化该库,原系统在 4388 题上 Codex 从 53.5 到 55.7,DeepSeek-Harness 从 53.4 到 56.6。涨分不均匀:ParseBench 上 Codex 从 63.4 掉到 58.9,MATH-Vision 上 DeepSeek 从 56.6 掉到 53.4。
关掉历史库、最多五次尝试时,2B Controller 在四项基准上全涨,Codex 的 MATH-Vision 从 20.4 到 41.2。视觉记忆与文字一起演化再自适应注入,优于冻结裁图或每次都塞图,Codex 上 MAS 时间大约少 25%。Codex 配 GPT-5.6-Luna、记忆模块和库都不重训,四项全涨,ParseBench 63.8→66.5,MATH-Vision 51.2→57.2。
记忆被做成可插拔服务,宿主只读检索结果。2B 已经能把记忆操作时间砍掉大约七成,对要挂多套 agent 的系统,比记忆也跑 27B/31B 更接近能部署。冻结库换 harness、换骨干仍能涨分,说明经验有可移植性,不必每个系统从零攒库。
场景很窄:文档、图表、视觉数学这种「答案绑在图上某一块」的重复解题。WorldBench 还算稳,ReasonMap 和 BabyVision 就不要指望。没有可积累题型时,树和共演化都是开销。相对 Mem0、A-Mem 和 Agent-KB,这是把多模态共演化和跨系统共享接起来的渐进工作,不是新的学习范式。
论文没有 Limitations 节。附录写了两处硬约束:树操作只做结构校验,没有逐条 MAS 回放;Controller 的 replay 只保证源任务上这次变换有效,不保证换题还有效。
主表把重试从历史检索里拿掉,设计是干净的。题内消融没有同样干净:无记忆试一次,MC 最多五次,MATH-Vision 从 20.4 到 41.2 的跳升里,有多少来自记忆、多少来自重试,分不开。
构建题和评测题来自同一批基准,只是题目不相交,属于近分布记忆。训练筛样本用了参考答案,线上更新没有这条信号。跨 harness 扩库会在个别榜上伤原系统,没有冲突仲裁。2B 在 Codex+Qwen 的 MP-DocVQA 上从 79.5 掉到 66.1,宏均是 MATH-Vision 拉起来的。DeepSeek+Gemma 无记忆的 MP-DocVQA 只有 2.7,那一套配置的 +1.7 宏均很弱。