SFT 泛化不强？MCMC 采样改造离策略数据，效果匹敌 RL 后训练
sguada · x · 2026-10-03
NeurIPS 论文《Finetuning with Sampling: SFT Learns Better Than You Think》（Aayush Karan、Sitan Chen、Yilun Du）挑战了「SFT 泛化差、易灾难性遗忘，RL 才能泛化」的传统观念。
- 核心思路：不改学习目标，而是改数据分布——提出一种 MCMC 采样算法，用参考模型把离策略的专家轨迹逐步「搬」向在策略分布，让 SFT 兼得在策略学习的泛化与离策略数据的特权信息。
- 结果：在科学技能习得、数学推理、开放性专业问答等任务上，纯 SFT 配此采样算法可匹敌主流后训练方法，泛化常更好、遗忘更少。
- 模型还表现出较强的分布性能，能学到超越「仅锐化基座分布」的新能力。
- 论文、博客与代码均已开源，将在 NeurIPS 展示。
所属事件:教皇发声：AI 生成物缺乏人性火花，与人类艺术本体论不同(3 条相关)→
「研究」频道最新
- arXiv 论文《Can LLMs Anticipate Their Cruxes?》全文上线 — rohanpaul_ai · 2026-10-24
- 芝大论文:LLM 说不清自己决策的关键分歧点,抽样对比才有效 — rohanpaul_ai · 2026-10-24
- 九章 4.0 号称 25 微秒完成超算 10^42 年的算题,但任务无实用价值 — AryHHAry · 2026-10-24
- Mila 论文：让多模态模型画「思考图」提升跨视角空间推理 — aagrawalAA · 2026-10-24
- OSDI 论文再翻红:轻量级形式化验证能否守住 Vibe Coding 时代 — tianyin_xu · 2026-10-24
- Princeton等推出WorldOracle基准:动作驱动世界模型常幻构成功画面 — jiqizhixin · 2026-10-24