dOPSD：扩散语言模型在线自蒸馏推理增强新方法

Phuong Tuan Dat · hf · 2026-07-07

扩散大语言模型（Diffusion LLMs）在通过后训练增强推理能力方面面临独特挑战。研究提出在线策略自蒸馏方法（dOPSD），利用模型内部去噪轨迹作为训练信号进行自我蒸馏，无需外部教师模型。实验结果显示，该方法显著提升了扩散语言模型在数学推理和代码生成任务上的表现。