Finetuning with Sampling: SFT Learns Better Than You Think
Aayush Karan, Sitan Chen, Yilun Du
cs.LG, cs.AI, cs.CL
2026-10-02
MCMC把专家轨迹改写成更贴近基座的正确样本再做SFT。化学准确率从34.3%升至66.0%，超过OPSD且遗忘更少。
后训练想加新能力，又要少毁旧能力。近年实证把两条工具分在两边：强化学习（RL）用模型自己的样本更新，泛化更好、遗忘更少；监督微调（SFT）直接拟合专家轨迹，容易记死训练集，旧基准大幅下滑。
RL 的代价是采不到正确 rollout 就没有奖励方差，这道题等于被扔掉。Qu 等人划出过一大块「太难、RL 学不动」的样本。要引入基座原本不会的能力，正好落在这里。SFT 能吃专家轨迹、不需要显式奖励，但分布离基座太远，更新一冲就把旧行为改坏。
这篇不改损失函数，改数据：把专家轨迹变成信息还在、更像基座会说的样本，再跑普通 SFT。
目标是基座 p 在等价类 C 上的信息投影：只保留与专家轨迹等价的序列（化学、数学里通常是答案对），同时让 KL(π ∥ p) 最小。解析解是把 p 限制在 C 上再归一化。基座自己能稳定采到正确轨迹时，拒绝采样就够。这篇盯的是拒绝采样采不到的难样本。
用 Metropolis-Hastings 从专家轨迹出发改写。提议必须保信息，候选掉出 C 则接受率为 0。每一步后，数据策略相对基座的 KL 单调不增。提议在当前轨迹上随机截断，把前缀、题目和专家解答塞进固定提示，让基座用自己的话续写到完整正确的答案。
整段做 MCMC 太贵、混得慢。实现按块走：B=32，最长 T=1856，每块 10 步，前一块当下一块初始化，称为投影采样。只在造训练集时跑一次，期望消耗约 |D|·NMCMC·T²/(4B)。
化学用 SciKnowEval Chemistry L-3（GPT-5 轨迹），数学用 MATH 3/4/5 级自带解答，医学用 HuatuoGPT-o1（GPT-5-mini 判分）。基座为 Qwen2.5-7B-Instruct（化学 34.3%，医学 35.3%）和 Qwen2.5-3B（数学 31.5%）。对照为原数据 SFT、零阶改写、OPSD，数学另加 GRPO 与 UFT。
| 方法 | 化学（7B） | MATH 3/4/5（3B） | 医学（7B） |
| 基座 | 34.3% | 31.5% | 35.3% |
| 原数据 SFT | 61.8% | 24.3% | 44.8% |
| OPSD | 61.8% | 26.7% | 46.6% |
| GRPO / UFT | 无 | 45.7% / 47.0% | 无 |
| 采样 SFT | 66.0% | 49.5% | 45.8% |
| 采样 SFT+GRPO | 无 | 54.5% | 无 |
化学相对基座 +31.7 点，比 OPSD 再高 4.2 点。MMLU 从 68.7% 到 69.2%。先验平均从 59.7% 收到 58.6%，只掉 1.1 点，原数据 SFT 掉到 52.0%。零阶改写化学 61.3%，完整 MCMC 把分数拉到 66.0%。
数学上原数据 SFT 全面变差。采样 SFT 最难题 +18.0 点，AMC 从 13.3% 到 27.7%，GSM8K 从 57.9% 到 78.2%，MATH500 从 24.5% 到 58.2%，比 GRPO 的 31.3% 高 26.9 点。再接 GRPO 后 MATH500 到 65.2%，GSM8K 到 83.0%。
医学新任务 45.8%，略低于 OPSD 的 46.6%，零阶改写已是 45.7%。先验平均从原数据 SFT 的 35.3% 回到 51.6%。MMLU 仍从 68.7% 掉到 52.3%。
提升后轨迹在基座下的平均 log 概率明显右移。Olmo-3-7B-Instruct 的化学 pass@k 全程高于基座和 OPSD，大 k 也不并回基座；有的题从基座 pass@k 为零到 67.2% 或 53.1%。把 Qwen 训在给 Olmo 提升过的数据上会全面落后。MCMC 步数从 0 加到 10，KL 下降，化学准确率上升。
训练代码可以继续是交叉熵 SFT，改的是轨迹。场景很具体：手里有专家数据，基座采不出成功轨迹，还想少毁旧能力。化学题型混了选择和配平，奖励不好写，这种设置更合适。数学上同一 checkpoint 还能初始化 RL，单靠 SFT 已经超过 GRPO 和 UFT。
提升必须对着当前基座做，不能当通用专家集复用。结论把同一套 MCMC 延伸到蒸馏教师和 RL 的难题 rollout，主表只验证了提升后做 SFT。
等价类 C 在实验里用「答案对」或 LLM 判分代替，开放域保信息没有硬保证。提议绑在基座的 in-context 能力上，指令跟不住时链会卡在错误续写。块 MCMC 是近似，论文没有混合时间或相对真投影的误差界。
医学新任务没有赢 OPSD。化学 MATH500 67.0%、GSM8K 89.1% 仍低于基座 73.4% 和 91.8%，AMC 从 42.2% 掉到 37.4%。更少遗忘是相对 SFT 和 OPSD 的排序。成本按序列长度平方涨，墙钟和美元没报。超参只扫了 epoch、学习率、batch。交叉模型失败说明这份数据是模型私有的。