Projection sampling:让 SFT 学新能力而不遗忘旧技能的数据变换框架
burkov · x · 2026-10-03
前沿语言模型训练面临持久困境:如何教模型新能力而不损害已有技能。
- SFT 的问题:监督微调能引入丰富的外部专家解法,但常引发灾难性遗忘和泛化差。
- RL 的问题:强化学习能较好保留旧技能,但依赖模型自己探索出正确解,对基座模型原本解不了复杂问题无能为力。
文章提出并评估了名为 projection sampling 的预训练数据变换框架:将外部专家示范数据变换成与基座模型内部分布高度匹配的轨迹,使标准 SFT 在学到新能力的同时避免灾难性遗忘、保持泛化。
所属事件:教皇发声:AI 生成物缺乏人性火花,与人类艺术本体论不同(3 条相关)→
「研究」频道最新
- 单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型 — Tall_Abrocoma_3533 · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19
- OpenVax 代码量 15 个月从 7.8 万行涨到 56.5 万行 — iskander · 2026-11-19
- François Fleuret:decoder Transformer 没有 trade-off 超参,足够优雅 — francoisfleuret · 2026-11-19