新法 OPMD 用在线蒸馏做 mid-training，MATH-500 上超越 NTP 基线
kalyan_kpl · x · 2026-11-11
arXiv 新论文提出 On-Policy Mid-Training Distillation（OPMD），把持续预训练（CPT）中的 mid-training 从离线文本模仿改为主动的、查询驱动的知识获取。
- 动机：在同一个 10 亿 token 数学语料上做对照实验发现，标准 next-token prediction（NTP）目标的效果依赖具体模型——NTP 让 Llama-3.2-3B 数学成绩提升，却显著拉低了 Qwen3-1.7B-Base 的表现，说明固定训练配方对不同模型可能产生相反效果。
- 方法：在选定的锚点位置，从不断演化的学生策略中采样轨迹，用冻结教师模型给出密集的 token 级 reverse-KL 奖励，让模型在自己实际访问的状态上训练，而非只学 ground-truth 前缀，从而降低 teacher-forced NTP 的训练-生成失配。
- 结果：在 MATH-500 和 Minerva 上，OPMD 使 Qwen 学生模型超过基座性能并优于 NTP 基线（后者两个基准都出现退化）。
- 工程价值：可直接集成进 CPT 流水线，不增加推理时开销，是被动领域自适应的 model-aware 替代方案。
「研究」频道最新
- 几何深度学习全书草稿完成,Petar Veličković 称其为五年最重要成果 — TacoCohen · 2026-11-11
- 补全 4096 组合实测：翻转模型答案只需几个神经元，整个回路并非必需 — Ömer Tekin Yavuz · 2026-11-11
- 中国 ML 论文产能引热议：博士生百篇论文、一周一篇如何炼成？ — Strong_Boy_757 · 2026-11-11
- Google DeepMind Weather 招收明年学生研究员，要求扎实 ML 背景 — LucaAmb · 2026-11-11
- Google 预印本 StreamVibe：流式视频主动助手学会何时该开口 — jiqizhixin · 2026-11-11
- GMM 采样潜变量即可生成随机输入，无监督训练闭环再进一步 — caglar_ee · 2026-11-11