Continual Learning in Transition
Zhiyan Hou, Dan Zhang, Tao Feng, Liyuan Wang, Wei Li, Xiangzhao Hao, Hongyan An, Junfeng Fang, Haokai Ma, Zhaohui Xu, Haiyun Guo, Jinqiao Wang, Tat-Seng Chua
cs.LG, cs.AI
2026-08-07
把持续学习从经典「防遗忘」重写成跨生命周期的系统能力演化,提出 When/Where/How 三轴框架;作者判断,前沿模型的持续学习是通向 AGI 的首要优先级。
持续学习(continual learning,CL)这个领域过去的核心问题是灾难性遗忘:模型按顺序学新任务,会把旧任务的表示冲掉。围绕它攒出了四大方法族,回放、梯度约束、架构隔离、正则化(EWC、LwF 这些)。
这些方法虽然机制不同,却共享三个从没被挑明的前提:能力主要存在模型参数里;学习主要发生在部署前那段专门训练里;更新主要靠外部数据的梯度下降。这篇综述(中科院自动化所、新加坡国立大学、清华联合,通讯 Tat-Seng Chua)想说的是,这三个前提在 LLM 和 agent 时代已经被打破,再用旧定义框住持续学习,会把 test-time training、on-policy 强化学习、外部记忆和技能库这些新东西全部排除在外。论文要做的,是给这场转变一个统一的坐标系。
作者把那三个前提翻成三个问题。每个前提原本是个固定答案,现在变成变量。
经典持续学习就是这个坐标系里的一个点:后训练加参数加离线梯度。LLM 时代的方法沿一条或多条轴偏离它,而且一篇方法不是落在某个网格格子里,而是带一个 When-Where-How 画像。Voyager 在 harness 上靠 on-policy 探索攒技能;TTRL 在部署时用可验证奖励更新模型参数;MemoryBank 给外部记忆加上艾宾浩斯遗忘曲线,管的是 harness 的记忆层。
这是一篇立场与综述文章,没有自己的实验,没有 benchmark 数字。它的产出是分析,最有价值的是三层载体层级,以及长上下文为什么撑不起持续学习。
| 载体层 | 写入成本 | 召回稳定性 | 容量天花板 |
| 参数(最内) | 最高,要反向传播和对齐数据 | 最高,真正内化 | 随模型规模 |
| 外部记忆(中间) | 低,无需改参数 | 中,受检索带宽限制 | 受存储与检索限制 |
| 上下文窗口(最外) | 最低,一次推理即可 | 最易失,有硬长度上限 | 硬天花板 |
作者的核心判断:上下文窗口有结构性天花板。一是硬上限,哪怕扩到百万 token 仍是有限的;二是软上限,needle-in-haystack 现象表明长上下文里有效注意力按位置不均匀分布,信息密度不随窗口长度线性增长。把丰富经验压成文本摘要这条路,在非文本为主的领域很脆,可能悄悄丢掉关键理由。RAG 也救不了:对话和任务链一长,检索就被陈旧文档主导、低质条目堆积、相关度漂移,记忆系统得有主动遗忘机制,MemoryBank 的遗忘曲线就是冲这个来的。
还有一个被作者点破的常见混淆:很多人觉得工程进展已经逼近 AGI,但相当一部分能力其实长在模型周围的脚手架上,包括规则文件、技能库、不断迭代的系统提示词,不在模型本身里。
对做 agent 的人来说,这等于在说持续学习现在也是你的活了。记忆衰减、技能库膨胀、协议漂移,每一项都是持续学习问题,不只是微调模型时防遗忘那一种。三轴框架至少给了一张排查图,告诉你问题出在哪个轴上。
更实际的启发是那个缓存层级的类比:什么该常驻上下文、什么该写进记忆、什么该固化成技能、什么最后沉淀进参数,本质上是个调度问题,跟计算机系统的 cache-memory 层级同构。论文坦承这套类比目前还没有对应的形式化框架,但作为思考工具已经够好用。
立场性论文的最大风险,是它下的判断本身没人验证过。作者主张「让 harness 能力沉淀回参数、再按需取回」的双向迁移机制,以及跨载体的统一调度,通篇用的是建议、方向、直觉这类词,没有一个跑通的实例。
三轴框架的覆盖也偏。作者团队自己重度做 memory 和 agent,所以 Where 轴(harness)讲得最透,When 和 How 相对粗。把它当一张全图看,会高估 harness 路线的成熟度。
AGI 优先级的判断,即前沿模型的持续学习是首要优先级、领域特定的不是,是个鲜明立场而非结论。作者也给了诚实的距离估计:memory-and-harness 路线在工程层面正逼近通用助手的上限,但能自主扩张能力、跨域迁移、稳健做长程决策的真正 AGI 还差得远,而且这个差距不会靠更长的上下文、更大的记忆、更多的技能来弥合。这是整篇里最清醒的一句。