DOPD：解决特权幻觉的新型在策略蒸馏方法
jiqizhixin · x · 2026-07-16
来自新加坡国立大学、港中文、北大和京东的研究者提出了新的大模型蒸馏方法 **DOPD**（Dual On-policy Distillation），旨在解决传统蒸馏中的“特权幻觉”问题。 该方法不再盲目复制教师模型的隐藏优势，而是动态决定从教师模型或学生模型自身策略中提取哪些 token 进行监督，从而避免模型混淆真正能学到的知识与只能“伪装”出的能力。 实验表明，DOPD 在 LLM 和 VLM 基准测试中均优于标准在策略蒸馏，并在稳定性、鲁棒性、持续学习和分布外任务中取得了额外提升。