多教师辩论蒸馏突破单教师上限
青稞AI · wechat · 2026-07-13
这篇文章介绍华中科大的论文 MAD-OPD: Breaking the Ceiling in On-Policy Distillation via Multi-Agent Debate，核心是在 on-policy distillation（OPD）里引入多教师辩论，打破单教师蒸馏的能力上限。
方法要点
- 传统 OPD 让学生沿着自己的轨迹生成，再由教师逐 token 监督；优点是更贴近学生分布，但会继承单一教师的盲点。
- MAD-OPD 让多个教师围绕学生当前状态先辩论、互相纠错，再把辩论后的共识蒸馏给学生；教师之间的辩论记录只给教师看，学生只接收最终监督信号。
- 对 Agentic 任务，作者建议用 JSD 作为散度，因为它对长轨迹更稳，且不依赖轨迹长度或分布重合；对 代码生成，则继续用 反向 KL，以保证程序路径的一致性。
结果
- 在 Qwen 14B+8B-4B 的设置下，MAD-OPD 的 AgenticAvg 25.69、CodeAvg 48.12、OverallAvg 34.66，高于 OPD 和 MT-OPD。
- 在 LiveCodeBench v6 上，4B 学生的 pass@1 达到 29.83，超过 14B 教师的 25.57；在 BoN@16 下，4B 也达到 43.43，高于教师的 33.14。
- 消融显示：单纯多教师平均不够，加入辩论后效果更好，再加置信度加权最好；两轮辩论效果最佳，三轮则会因上下文膨胀和噪声而退化。
文章最后强调，MAD-OPD 的关键不是让小模型“凭空超越”教师，而是把教师池里分散的局部正确性组织成更强的训练信号，从而突破单教师天花板。
「编程与Agent」频道最新
- AXL 上线远程 MCP 服务器，向 Claude 等开放 1284 个营销 API — EdTech_Padre · 2026-10-27
- GitHub 托马斯发布 Entire：面向人机协作的全新 Git 代码托管平台 — carrycooldude · 2026-10-27
- OmarchyTV 开源：把 Omarchy 风格搬上 Android TV 与 webOS — alexcovo_eth · 2026-10-27
- AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27
- Reddit 讨论：如何让 AI Agent 基于项目最新信息工作 — Few-Ad-1358 · 2026-10-27
- 博主给 AI agent 配手机号和邮箱，像同事一样派活 — heyshrutimishra · 2026-10-27