「嫁接」训练法: 在预训练检查点上做 SFT 再迁移, 持续学习胜过自蒸馏
AdtRaghunathan · x · 2026-11-05
CMU 研究者 Chen Henry Wu、Thomas Zhang、Aditi Raghunathan 的 arXiv 论文《Off-Policy Merging Beats On-Policy Self-Distillation for Continual Learning》引发热议, 被称为「巨大的训练 alpha 泄露」。核心发现: SFT 虽从新数据学到有用信号, 但直接套用权重更新会损害已有能力。论文提出 grafting(嫁接)配方: ① 在更早的 donor 检查点(甚至预训练结束前)学习更新, 再应用到后训练模型上; ② 缩放权重更新, 相当于模型合并; ③ 当新数据分布偏远时可掩蔽最敏感的更新方向。结果显示 off-policy 合并在持续学习中优于 on-policy 自蒸馏(OPSD), 且能避免 OPSD 导致的推理崩溃。论文作者之一补充: 这像是他们此前 task arithmetic 结论的「减法」版本, 并押注 task arithmetic 随规模变大变得更强、更通用。引用推文指出, OpenAI 似乎声称可以通过从最终模型中减去 SFT 权重增量, 把下游后 RL 模型的特定行为归因到特定 SFT 数据集。
「研究」频道最新
- VA-TDM 用速度对抗蒸馏统一框架，刷新少步扩散生成 SOTA — Yihong Luo · 2026-11-05
- SleuthVLM：不听音频只靠语音转写+自主探索，长视频理解反超 Gemini 3.8 Flash — antgroup · 2026-11-05
- TUM 等提出 AnchorComplete：从不完整点云恢复完整场景网格 — Weirong Chen · 2026-11-05
- 神经科学家热议：用深度 RL 构建虚拟动物大脑研究神经科学 — neuroecology · 2026-11-05
- Berkeley 团队揭示 LLM 递归自摘要信息丢失,用重构奖励的 RL 修复 — berkeley_ai · 2026-11-05
- ReproEvalCard：让 LLM 管线评测可复现的报告标准提案 — kalyan_kpl · 2026-11-05