多教师辩论蒸馏突破单教师上限
青稞AI · wechat · 2026-07-13
这篇文章介绍华中科大的论文 MAD-OPD: Breaking the Ceiling in On-Policy Distillation via Multi-Agent Debate，核心是在 on-policy distillation（OPD）里引入多教师辩论，打破单教师蒸馏的能力上限。
方法要点
- 传统 OPD 让学生沿着自己的轨迹生成，再由教师逐 token 监督；优点是更贴近学生分布，但会继承单一教师的盲点。
- MAD-OPD 让多个教师围绕学生当前状态先辩论、互相纠错，再把辩论后的共识蒸馏给学生；教师之间的辩论记录只给教师看，学生只接收最终监督信号。
- 对 Agentic 任务，作者建议用 JSD 作为散度，因为它对长轨迹更稳，且不依赖轨迹长度或分布重合；对 代码生成，则继续用 反向 KL，以保证程序路径的一致性。
结果
- 在 Qwen 14B+8B-4B 的设置下，MAD-OPD 的 AgenticAvg 25.69、CodeAvg 48.12、OverallAvg 34.66，高于 OPD 和 MT-OPD。
- 在 LiveCodeBench v6 上，4B 学生的 pass@1 达到 29.83，超过 14B 教师的 25.57；在 BoN@16 下，4B 也达到 43.43，高于教师的 33.14。
- 消融显示：单纯多教师平均不够，加入辩论后效果更好，再加置信度加权最好；两轮辩论效果最佳，三轮则会因上下文膨胀和噪声而退化。
文章最后强调，MAD-OPD 的关键不是让小模型“凭空超越”教师，而是把教师池里分散的局部正确性组织成更强的训练信号，从而突破单教师天花板。
「编程与Agent」频道最新
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11
- 用 prompt 造硬件:一次对话让智能体组装定制设备寄到家 — paraschopra · 2026-09-11
- 模型之外才是关键:一文拆解 RAG 到多智能体的六大 AI 架构 — goyalshaliniuk · 2026-09-11
- 零基础开发者自建分层记忆架构，仅 20k token 记住一年对话 — matteoianni · 2026-09-11
- Warp 六个非工程团队全用 Linear 和 Claude Code 工程化运作 — mon__lim · 2026-09-11
- 九年后端老兵：AI 代码不比人写的差，变糟的只是速率 — Sweaty-Landscape-561 · 2026-09-11