模型合并对抗遗忘:grafting 法在离策略 SFT 后持续学习胜出自蒸馏
AdtRaghunathan · x · 2026-11-03
AdtRaghunathan 团队发布首个版本的「grafting」方法,挑战「持续学习必须 on-policy」的常见观点:
- 传统看法认为 off-policy 学习导致遗忘,而对思考模型做 on-policy 自蒸馏实现起来很麻烦
- 关键发现:在 off-policy SFT 之后简单做模型合并(model merging)即可大幅缓解遗忘
- 进一步技巧:在较早的 checkpoint 上学习更新,再「嫁接」到最终模型上
- 效果:grafting 胜过 on-policy 自蒸馏,在困难的数学推理与知识注入任务上显著改善持续学习
作者将其定位为 bitter lesson(让 off-policy 数据自己说话)与恰当归纳偏置的结合,是其实验室本周 AI 安全与持续学习系列发布之一。
所属事件:CMU 新研究：模型合并加嫁接让后训练模型离策略学习不忘旧本领(2 条相关)→
「研究」频道最新
- GPT-6 仅改 0.016% 权重，让 0.8B 小模型数学成绩暴涨 6 倍 — SergioPaniego · 2026-11-03
- 作者复盘：数学暴涨 6 倍的真因是修掉了推理循环 — anshulkundaje · 2026-11-03
- 研究者批「权重空间编程」：Atari 是送答案的选择题，Qwen 案例近乎喂答案 — anshulkundaje · 2026-11-03
- Cohere 论文：相邻 token 共享 20-45% 专家，MoE 投机解码低批量也划算 — rohanpaul_ai · 2026-11-03
- 直接改 13.1 万个权重：研究者用激活定向修复模型循环推理 — xennygrimmato_ · 2026-11-03
- 拆分注意力≠拆分上下文：多 agent 审阅文档的隐藏陷阱 — krishnan · 2026-11-03