KAIST 与 LG 提出 SynthSelf,让小模型持续学习不再遗忘旧能力
LG-AI-Research · hf · 2026-10-12
KAIST AI 与 LG AI Research 发布 SynthSelf,解决持续后训练中「学新不忘旧」的双重挑战。现有方法 SDFT 依靠强上下文学习和指令跟随能力,在小模型上失效——而小模型正是低延迟、端侧部署的关键。
- 根因分析:作者发现获取能力差与遗忘都与后训练模型的分布偏移呈线性相关,说明必须做同分布学习。
- 方法:SynthSelf 把 SDFT 的同分布改写任务外包给一个同家族、只稍大一点的「对齐器」模型,配合离策略监督和拒绝采样,在不破坏原分布的前提下提供小模型所需的高质量监督。
- 评测:覆盖 4 个能力获取数据集(含混合数据)和 14 个保持能力基准,在 3 个小模型规模上,持续优于 6 种方法(含离策略与在策略蒸馏)。消融图显示相比基线,SynthSelf 在保持能力上仅损失约 1 个百分点,获取能力却提升约 22 个百分点。
「研究」频道最新
- DiffusionART 训练视频模型省 12 倍 GPU 时,奖励还高出 53% — KlingTeam · 2026-10-12
- Reflex 人形机器人用第一视角接住抛来的箱子,实机最高 65% 成功率 — UW · 2026-10-12
- Meta 团队提出 ReHarness,反向修订经验让智能体在线持续学习 — Yuxin Xiao · 2026-10-12
- 高维堆积沙盒:蒙特卡洛软球硬化成方块,逼近五维堆积纪录 — idanbeck · 2026-10-12
- willcb:除 RL 外的算法都是在用代理目标回避直接优化 — willcb · 2026-10-12
- Hugging Face 开源 Carbon-A：12 亿参数 DNA 模型标注基因编码区 — lmoroney · 2026-10-12