扩散大语言模型自蒸馏新范式dOPSD提出

马普所与清华等机构联合提出了针对扩散大语言模型的在线策略自蒸馏新方法（dOPSD）。该方法创新性地利用模型内部去噪轨迹作为训练信号进行自我蒸馏，打破了传统限制。dOPSD无需依赖参考解或额外的复杂训练，有效解决了扩散大模型在后训练阶段增强推理能力的独特挑战，显著提升了模型性能。

2026-07-07 ~ 2026-07-09 · 2 条相关

• dOPSD：扩散语言模型在线自蒸馏推理增强新方法 — Phuong Tuan Dat · 2026-07-07
• 提出扩散大模型自蒸馏新范式 — 机器之心 · 2026-07-09