CMU 新研究：模型合并+「嫁接」让后训练模型安全吸收 off-policy 数据不忘旧本领
AdtRaghunathan · x · 2026-11-03
CMU 的 Chen Henry Wu、Thomas Zhang、Aditi Raghunathan 发布关于 LLM 持续学习的博客（基于论文 Off-Policy Merging Beats On-Policy Self-Distillation for Continual Learning，代码开源于 GitHub）。
核心问题：后训练（RL）后的模型再用新数据做 SFT 会遗忘旧能力，甚至在同领域内——学会更难的数学题可能让原本会做的简单题变差。新知识/专家演示/自我改进数据天然是 off-policy 的，主流做法是将其转成 on-policy 信号（如 on-policy self-distillation），但会引入压制不确定性、降低探索等副作用。
作者质疑「持续学习必须 on-policy」这一假设，给出两个发现：
- 简单模型合并就能让 off-policy SFT 出奇地强
- 新方法 grafting（嫁接）：在早期 checkpoint 上学习更新再迁移到后训练模型，基本消除遗忘
在困难数学、自我改进、知识注入等任务上取得大幅提升，同时保留既有能力。
所属事件:CMU 新研究：模型合并加嫁接让后训练模型离策略学习不忘旧本领(2 条相关)→
「研究」频道最新
- GPT-6 Astra 直接改写 Qwen 权重：数学能力提升至 6 倍，无需训练 — repligate · 2026-11-03
- 同一 Agent 用 Rust 和 C 重写 Liquid 模板引擎：Rust 省 42% token，C 快 1.7 倍 — antirez · 2026-11-03
- 「苍蝇打节奏光剑」爆红，全脑仿真亟需公认判定基准 — rishabh16_ · 2026-11-03
- 研究者找出 Google 搜索 120 个 twiddler 重排程序，多个与 AI Mode 相关 — VeryWellVersed · 2026-11-03
- Qwenputer：把完整 RISC-V CPU 编译进 Qwen3.5-4B 权重，还能跑另一个 LLM — udmrzn · 2026-11-03
- 读原始权重就能认出游戏:Astra 无需工具叫破四款 Atari 游戏 — burny_tech · 2026-11-03