Self-Distill-Zero自蒸馏方法
prfsanjeevarora · x · 2026-07-10
Self-Distill-Zero 是一个用于带有奖励/正确性判别器场景的简单自我改进训练流程。模型先生成答案，再用判别器分数进行在线蒸馏，让模型用自身对自己提供更密集的 token 级监督。 帖子称，该方法在数学和编程任务上明显优于 SFT 和 RL 基线。原帖还提到这篇工作被 ICML 的 RLxF workshop 评为 Best Paper，并在 AI4Math workshop 获得 Honorable Mention。