Local Support Learning:7B 模型免旧数据也能边学新任务边防遗忘
CatAstro_Piyush · x · 2026-10-02
arXiv 论文《Local Support Learning》(LSL)提出一种通用的后训练框架,解决大模型持续学习中的灾难性遗忘:在最高 7B 参数的 LLM 上,模型可以在不访问任何先前数据的情况下,全容量学习新任务同时保留旧能力。
核心思路:
- 把「遗忘」看作每个权重矩阵输入空间中的几何问题,并据此推导出梯度优化器的更新在该保持目标下是次优的。
- LSL 在新学习阶段搭配两个组件:一个照常训练的权重适配器,加一个门控函数——门控只在该适配器自身训练分布的输入激活上开启,使更新局部化于该分布。
- 难点在于门控只见过当前阶段数据,却要为所有阶段路由数据;作者用高斯混合模型(GMM)做门控,其似然在远离训练数据处快速衰减,天然倾向在旧阶段数据上保持关闭。
实验显示该后训练方法能保留多个训练阶段的预训练与微调能力,内存与计算开销小,对超参数选择鲁棒,并展现 scaling 潜力。论文与代码均已公开。
「研究」频道最新
- SFT 未死：引入采样重写训练数据，效果可比 RL 后训练 — mayfer · 2026-10-02
- Where-OPD:用合成场景做空间引导自蒸馏,多模态感知提升 3.23 分 — valeocorg · 2026-10-02
- Stability AI 发布 SemanTok:小模型tokenizer提升自回归视频生成效率 — stabilityai · 2026-10-02
- 加个「畅销款」标签就翻车:三篇 NeurIPS 论文揭示 LLM 偏见 — xuandongzhao · 2026-10-02
- 实测多个提示词让 AI 文本 100% 骗过检测器 — paulnovosad · 2026-10-02
- Pangram 刻意不把 AI 翻译文本判为 AI 生成 — paulnovosad · 2026-10-02