Projection sampling：让 SFT 学新能力而不遗忘旧技能的数据变换框架
burkov · x · 2026-10-03
前沿语言模型训练面临持久困境：如何教模型新能力而不损害已有技能。
- SFT 的问题：监督微调能引入丰富的外部专家解法，但常引发灾难性遗忘和泛化差。
- RL 的问题：强化学习能较好保留旧技能，但依赖模型自己探索出正确解，对基座模型原本解不了复杂问题无能为力。
文章提出并评估了名为 projection sampling 的预训练数据变换框架：将外部专家示范数据变换成与基座模型内部分布高度匹配的轨迹，使标准 SFT 在学到新能力的同时避免灾难性遗忘、保持泛化。
「研究」频道最新
- DeepMind 研究员谈 LLM 数学突破:符号与神经网络的边界之争 — AndrewLampinen · 2026-10-03
- GraphRAG 六种架构模式实战指南:从 Text-to-Cypher 到稀疏图省钱方案 — nilukush · 2026-10-03
- 一次航班写出最小化 on-policy 蒸馏配置,聚焦训练工程化实现 — bclavie · 2026-10-03
- Schmidhuber 甩出三篇论文回应质疑:创造力形式理论早有伏笔 — SchmidhuberAI · 2026-10-03
- Grok 4.7 在 Cursor 里算出球面巡检最短航线的数值候选解 — xiaosun86 · 2026-10-03
- Pairscore：让 LLM 打分多项比独立评估更能校准不确定性 — yeewhye · 2026-10-03