MiMo-V2-Flash的MOPD蒸馏
青稞AI · wechat · 2026-07-14
这篇笔记聚焦 **MiMo-V2-Flash Technical Report** 里的 **MOPD（Multi-Teacher On-Policy Distillation，多老师在线策略蒸馏）**，重点解释它如何把“多专家能力整合到一个学生模型”这件事重写成一次 **on-policy 强化学习**。 ### 背景：为什么要 MOPD - 传统方案主要有两类： - **参数合并**：省事，但不同能力容易互相干扰，合完后“样样通、样样松”。 - **离线蒸馏**：依赖静态老师答案，学生训练分布和推理分布不一致，容易出现 **暴露偏差** 和 **分布不匹配**。 - MOPD 的目标是：在保留多专家能力的同时，避免离线蒸馏的问题。 ### 核心机制 - 学生模型先按照自己的分布生成答案。 - 对应领域的老师在 **每个 token** 上给出稠密奖励。 - 奖励本质上是学生与老师在该 token 上的 **对数概率比**。 - 也就是说，MOPD 把“学生像老师”这件事直接变成了 **token 级策略梯度** 问题。 ### 它在整条训练流水线中的位置 报告把后训练分成三阶段： 1. **SFT**：打底，让模型具备通用指令能力。 2. **分域专家训练**：分别训练数学、代码、搜索、通用工具、安全等老师模型。 3. **MOPD**：把这些分域老师的能力蒸馏进统一学生。 作者还提到，MoE SFT 的稳定性和 `num-zeros`、expert bias 更新率等超参有关；而分域 RL 尤其是代码 agent 训练，规模很大，使用了容器化环境和大规模并发集群。 ### 数学形式与工程细节 - MOPD 使用 **reverse KL** 作为蒸馏目标，并把它转成策略梯度形式。 - 实际优化时又加入了训练/推理引擎之间的 **重要性采样修正**，对差异过大的 token 进行丢弃，避免数值偏差污染梯度。 - 默认还能把 MOPD 的 token 级优势项和 ORM 的 outcome reward 叠加，兼顾“过程监督”和“结果监督”。 ### 实验结论 - 在 AIME、HMMT、LiveCodeBench、Tau2-Bench 等多个 benchmark 上，MOPD 后的学生可以达到甚至反超最强老师。 - 但在一些复杂长程任务上仍有回退，例如 BrowseComp、创意写作、SWE-Bench Verified 等，说明 token 级蒸馏并非对所有任务都能完全承接老师能力。 - 总体上，作者认为 MOPD 的价值在于：**模块化、可扩展、能迭代协同进化**，并且确实能把“多老师”整合到一个学生里。