CaRE 将持续学习扩展到300任务

机器之心 · wechat · 2026-07-13

香港大学团队提出持续学习新方法 CaRE（Scalable Continual Learner with efficient Bi-Level Routing Mixture-of-Experts），尝试把持续学习扩展到 300+ 个非重叠任务的超长序列。

核心方法是 BR-MoE：在每个 Transformer block 中加入双阶段路由机制，先按类感知器的熵值动态选择最相关的任务路由，再在对应路由内挑选专家适配器进行融合，并保留一个通过 EMA 更新的共享专家。团队同时构建了新基准 OmniBenchmark-1K，从 OmniBenchmark-V2 中精选 1000 个类别、约 19 万张图像，覆盖 21 个视觉领域，用于评测百级到三百级任务的持续学习能力。实验显示，CaRE 在 100/151/200/301 任务序列上都表现稳健，并在 ImageNet-R、ImageNet-A、ObjectNet 等短序列基准上也保持领先。