多教师辩论蒸馏突破单教师上限
青稞AI · wechat · 2026-07-13
这篇文章介绍华中科大的论文 **MAD-OPD: Breaking the Ceiling in On-Policy Distillation via Multi-Agent Debate**，核心是在 on-policy distillation（OPD）里引入**多教师辩论**，打破单教师蒸馏的能力上限。 ### 方法要点 - 传统 OPD 让学生沿着自己的轨迹生成，再由教师逐 token 监督；优点是更贴近学生分布，但会继承单一教师的盲点。 - MAD-OPD 让多个教师围绕学生当前状态先辩论、互相纠错，再把辩论后的共识蒸馏给学生；教师之间的辩论记录只给教师看，学生只接收最终监督信号。 - 对 **Agentic 任务**，作者建议用 **JSD** 作为散度，因为它对长轨迹更稳，且不依赖轨迹长度或分布重合；对 **代码生成**，则继续用 **反向 KL**，以保证程序路径的一致性。 ### 结果 - 在 Qwen 14B+8B-4B 的设置下，MAD-OPD 的 **AgenticAvg 25.69**、**CodeAvg 48.12**、**OverallAvg 34.66**，高于 OPD 和 MT-OPD。 - 在 **LiveCodeBench v6** 上，4B 学生的 pass@1 达到 **29.83**，超过 14B 教师的 **25.57**；在 BoN@16 下，4B 也达到 **43.43**，高于教师的 **33.14**。 - 消融显示：单纯多教师平均不够，加入辩论后效果更好，再加置信度加权最好；两轮辩论效果最佳，三轮则会因上下文膨胀和噪声而退化。 文章最后强调，MAD-OPD 的关键不是让小模型“凭空超越”教师，而是把教师池里分散的局部正确性组织成更强的训练信号，从而突破单教师天花板。