Princeton 团队提出覆盖原理与 TailSFT:换掉交叉熵 SFT,让 RL 后性能更强
canondetortugas · x · 2026-09-12
来自 Princeton/Fan Chen、Sadhika Malladi、Dylan Foster 等人的 arXiv 论文《The Coverage Principle: How Pre-Training Enables Post-Training》,从理论视角解释预训练如何决定后训练成败。
- 核心概念:coverage(覆盖率)——预训练模型放在高质量回答上的概率质量,它是 Best-of-N 等 post-training 与测试时扩展方法成功的充要条件;coverage 比交叉熵损失更能预测下游表现,因为它避免了对序列长度等问题参数的虚假依赖。
- 机制:next-token 预测(极大似然)会隐式优化出良好覆盖,这解释了预训练为何有效。
- 实践干预:checkpoint/模型选择、梯度归一化、测试时解码等可证明地提升覆盖。
- 后续工作 TailSFT(Malladi 团队):RL 训练昂贵,每一步都要有效;传统交叉熵 SFT 并非 RL 的最佳准备方式,TailSFT 是一种轻量、有原则的方法,直接提升覆盖从而改善 RL 后性能。
所属事件:DeepMind 与普林斯顿提出 TailSFT：为 RL 提效的微调新法(3 条相关)→
「研究」频道最新
- AISTATS 2027 workshop 提案截止延至 11 月 6 日 — qberthet · 2026-10-31
- 斯坦福 10 门 AI 课程免费上线 YouTube，吴恩达与 Manning 主讲 — stanfordnlp · 2026-10-31
- krishnan 点评多智能体自主实验室：批评改变了下一步搜索方向 — krishnan · 2026-10-31
- 给 Agent 加「拒绝记录」再试错：多智能体排障的工业级实验设计 — krishnan · 2026-10-31
- krishnan 提议：记录故障排查中被否决的解释，留作未来重开的证据 — krishnan · 2026-10-31
- 东京科学大学预印本：多智能体 AI 实验室自主研究金刚石量子自旋 — krishnan · 2026-10-31