d-OPSD：从未来答案自蒸馏
jiqizhixin · x · 2026-07-17
这篇论文提出了 **d-OPSD**，一种面向 **diffusion LLMs** 的 **on-policy self-distillation** 框架。核心想法是：模型不再只从过去 token 学习，而是从自己生成的“未来答案”里学习，作者把这种方式称为 **suffix conditioning**。 ### 方法要点 - 监督信号从 **token 级** 转向 **step 级** - 训练过程与扩散式去噪的迭代机制对齐 - 学生模型从“自己生成的后续内容”中学习 ### 实验结论 - 在 **4 个 reasoning benchmarks** 上，d-OPSD 都优于 **RLVR** 和 **SFT** - 训练效率更高，只需要大约 **10%** 的优化步数 论文题目是 **Learning from the Self-future: On-policy Self-distillation for dLLMs**。