ExpDis：把探索与优化解耦，RL 探索者蒸馏出更强学生模型

micahgoldblum · x · 2026-10-13

研究者 Micah Goldblum 在推文线程中介绍新方法 Exploration-Distillation（ExpDis）。他指出，在 RLVR 时代，LLM 已经过预训练，奖励只监督模型知识的一小部分——模型甚至可以忘掉大半维基百科仍拿到高奖励；而激进探索往往会让模型退化，且退化后恢复代价高昂。

ExpDis 的思路是把探索与优化解耦：先用带激进探索机制的 RL 训练一个「探索者」LLM，用它合成数据，再把成功的发现蒸馏进学生模型。学生模型从不承受探索压力、不会退化；探索者即使退化也无所谓，因为最终会被丢弃。两者可多轮交替进行，且支持多个探索者并行运行。探索机制上采用了 Random Network Distillation 的变体来产生多样性。