大模型「持续学习」全景图：五大流派激战灾难性遗忘

机器之心 · wechat · 2026-08-09

大模型无法像人一样「边用边学」且不遗忘旧知识，这一缺陷被视为通往 AGI 同事路上最硬的骨头。本文系统盘点了当前解决「持续学习」的五大技术路线：

外挂记忆：不改权重，将新知识存入外部数据库（如 MemGPT、Mem0），安全可控但未真正内化知识，且面临检索瓶颈。Karpathy 倡导的「认知内核+外部记忆」即属此类。
上下文工程：让模型输入的上下文自我进化成「攻略手册」（如斯坦福 ACE），通过增量更新规避信息流失，在多项任务中显著提升智能体表现。
持续后训练：通过改写权重内化知识（如 Thinking Machines 的 Tinker），核心难点在于对抗灾难性遗忘，自蒸馏微调（SDFT）是近期有趣的解法。
持续预训练：用新语料继续预训练，算力比从头重训划算，但极易损害模型原有通用能力。
自我修改架构：最前沿的思路，让模型自己生成数据并决定如何更新权重（如 MIT 的 SEAL、Google 的嵌套学习），甚至引入「睡眠」阶段来巩固记忆。

文章指出，这些路线大概率会分层协作，而未来的终极趋势是让模型自己主导「学什么、怎么学」。

「研究」频道最新